TP5使用workerman定时器定时爬取某站点新闻资讯等内容

最新推荐文章于 2023-06-09 14:32:31 发布

withoutfear

最新推荐文章于 2023-06-09 14:32:31 发布

阅读量363

点赞数 1

原文链接：https://www.cnblogs.com/goufugui/archive/2018/07/25/9365996.html

版权

PHP 同时被 3 个专栏收录

64 篇文章 3 订阅

订阅专栏

fastadmin

22 篇文章 1 订阅

订阅专栏

Workerman

7 篇文章 2 订阅

订阅专栏

1、首先通过 composer 安装workerman

tp5.0 只能用1.0.1版本

composer require topthink/think-worker 1.0.1

2.在项目根目录创建服务启动文件 server.php:

<?php


define('APP_PATH', __DIR__ . '/application/');

define("BIND_MODULE", "api/Worker");

// 加载框架引导文件

require __DIR__ . '/thinkphp/start.php';

3、在application里创建api模块，并在api里创建控制器 Worker.php：

<?php
namespace app\server\controller;
use think\worker\Server;
 
class Worker extends Server
{
 
    public function onWorkerStart($work)
    {
        $handle=new Collection();
        $handle->add_timer();
    }
 
 
}

4.创建Collection.php类

<?php
namespace app\server\controller;
use app\common\model\ArticleModel;
use think\Controller;
use Workerman\Lib\Timer;
 
class Collection extends Controller{
 
    public function __construct(){
          parent::__construct();
    }
 
    public function add_timer(){
        Timer::add(10, array($this, 'index'), array(), true);//时间间隔过小，运行会崩溃
    }
    /**
     * 采集数据
     */
 
    public function index(){
        $total=$this->get_jinse();
        return json(['msg'=>"此次采集数据共 $total 条。",'total'=>$total]);
    }
 
   
    /**
     * 获取金色财经资讯
     */
    public function get_jinse(){
        $url="https://api.jinse.com/v4/live/list?limit=20";
        $data=$this->get_curl($url);
        $data=json_decode($data);
        $data=$data->list[0]->lives;
 
        $validate=validate('Article');
        $items=[];
 
        foreach ($data as $k=>$v){
 
            preg_match('/【(.+?)】(.+)/u',$v->content,$content);
 
            if(!@$content[2]){
                continue;
            }
            $list=array(
                'source_id'=>$v->id,
                'source'=>'金色财经',
                'title'=>trim(preg_replace('/.*\|/','',$content[1])),
                'content'=>$content[2],
            );
            if($validate->check($list)){
                $items[]=$list;
            }
        }
        if($items){
            krsort($items);
            $model=new ArticleModel();
            $model->saveAll($items);
        }
        return count($items);
    }
    public function get_curl($url){
        $ch=curl_init();
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch,CURLOPT_URL,$url);
        curl_setopt($ch,CURLOPT_HEADER,0);
        curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
        $output = curl_exec($ch);
 
        if($output === FALSE ){
            echo "CURL Error:".curl_error($ch);
        }
        curl_close($ch);
        // 4. 释放curl句柄
 
        return $output;
 
    }
   
}