php curl 爬虫多线程,tp5使用curl特性进行定时多线程爬虫(或任务),使用redis队列

最新推荐文章于 2021-04-13 21:12:21 发布
最新推荐文章于 2021-04-13 21:12:21 发布
阅读量474 收藏
点赞数
文章标签： php curl 爬虫多线程

利用php(以及开源工具)实现爬虫

流程说明

从数据库或者循环构建爬虫的url(包括分页参数)**

分段取出使用多线程保存数据到redis**

启用队列把数据保存到数据库**

开始

使用tp5.0的框架,安装爬虫扩展 QueryList 4.0

composer require jaeger/querylist

GitHub地址

2. 安装多线程curl扩展CurlMulti 插件

composer require jaeger/querylist-curl-multi

GitHub地址

3. 如果需要运行js脚本,安装PhantomJS 插件

composer require jaeger/querylist-phantomjs

GitHub地址

4. 安装tp5的队列扩展

composer require topthink/think-queue

GitHub地址

5. 安装taskPHP扩展使用php的cli模式(不超时也可定时执行程序)

composer require taskphp/taskphp dev-master

配置使用

queue配置(/extra/queue.php)

return [

// 'connector' => 'Database', // 数据库驱动

// 'expire' => null, // 任务的过期时间，默认为60秒; 若要禁用，则设置为 null

// 'default' => 'default', // 默认的队列名称

// 'table' => 'prefix_jobs', // 存储消息的表名，不带前缀

// 'dsn' => [],

// --------------------

'connector' => 'Redis', // Redis 驱动

'expire' => null, // 任务的过期时间，默认为60秒; 若要禁用，则设置为 null

'default' => 'default2', // 默认的队列名称

'host' => '127.0.0.1', // redis 主机ip

'port' => 6379, // redis 端口

'password' => '', // redis 密码

'select' => 0, // 使用哪一个 db，默认为 db0

'timeout' => 0, // redis连接的超时时间

'persistent' => false, // 是否是长连接s

];

taskphp配置

namespace app\index\controller;

use think\console\Command;

use think\console\Input;

use think\console\input\Argument;

use think\console\Output;

// 载入taskphp入口文件

require_once dirname(APP_PATH) . '/vendor/taskphp/taskphp/src/taskphp/base.php';

class Taskphp extends Command

{

protected function get_config()

{

return [

//任务列表

'task_list' => [

//key为任务名，多任务下名称必须唯一

// 'all' => [

// 'callback' => ['app\\index\\controller\\Demo', 'run'], //任务调用:类名和方法

// //指定任务进程最大内存 系统默认为512M

// 'worker_memory' => '2048M',

// //开启任务进程的多线程模式

// 'worker_pthreads' => false,

// //任务的进程数 系统默认1

// 'worker_count' => 1,

// //crontad格式 :秒 分 时 天 月 年 周 // 大概是6分钟 执行一个周期

// 'crontab' => '1 * * * * * *',

// ],

// 'bufen' => [

// 'callback' => ['app\\index\\controller\\Demo', 'run2'], //任务调用:类名和方法

// //指定任务进程最大内存 系统默认为512M

// 'worker_memory' => '1024M',

// //开启任务进程的多线程模式

// 'worker_pthreads' => false,

// //任务的进程数 系统默认1

// 'worker_count' => 1,

// //crontad格式 :秒 分 时 天 月 年 周 // 大概是6分钟 执行一个周期

// 'crontab' => '1 * * * * * *',

// ],

// 'bufenRedis' => [

// 'callback' => ['app\\index\\controller\\Demo', 'run3'], //任务调用:类名和方法

// //指定任务进程最大内存 系统默认为512M

// 'worker_memory' => '1024M',

// //开启任务进程的多线程模式

// 'worker_pthreads' => false,

// //任务的进程数 系统默认1

// 'worker_count' => 1,

// //crontad格式 :秒 分 时 天 月 年 周 // 大概是6分钟 执行一个周期

// 'crontab' => '1 * * * * * *',

// ],

],

];

}

protected function configure()

{

$this->addArgument('param', Argument::OPTIONAL);

// 设置命令名称

$this->setName($_SERVER['argv'][1])->setDescription('this is a taskphp!');

}

protected function execute(Input $input, Output $output)

{

//系统配置

$config = $this->get_config();

//加载配置信息

\taskphp\Config::load($config);

//定义启动文件入口标记

define("START_PATH", dirname(APP_PATH));

//运行框架

\taskphp\App::run();

}

}

主逻辑

namespace app\index\controller;

use QL\Ext\CurlMulti;

use QL\Ext\PhantomJs;

use QL\QueryList;

use think\Db;

use think\Queue;

class Test

{

# 逻辑

# 使用定时任务执行所有的 make_url

# 段查数据形成uri段 make_url

# 把段查数据加入到多线程爬虫里面 start

# 得到的所有的数据加入到Redis队列 push

# 最后加入数据库 [多线程使用startnojs,js可执行文件文件会遇到进程阻塞]

// php think queue:listen

// php think queue:work --daemon(不加--daemon为执行单个任务)

// php think queue:work --queue PaChongShuJu --daemon

/**

* 段查门店id

* @return [type] [description]

*/

public function make_url()

{

set_time_limit(0);

DB::table('aid')->chunk(200, function ($datas) {

$url = [];

foreach ($datas as $data) {

$url[] = 'http://i.meituan.com/poi/' . $data['aid'];

}

$this->startnojs($url);

});

// 测试

// $url = [

// 'http://i.meituan.com/poi/71225712',

// 'http://i.meituan.com/poi/116558576',

// ];

// $data['aid'] = 1;

// $this->start($url, $data['aid']);

}

public function startnojs($url = [])

{

$ql = QueryList::getInstance();

$ql->use(CurlMulti::class);

$ql->rules(['html' => ['html', 'html', '']])

->curlMulti($url)

->success(function (QueryList $ql, CurlMulti $curl, $r) {

$p = $r['info']['url'];

$pid = substr($p, 25);

$ret2 = $ql->getHtml();

preg_match("/这家店不错哦，一起去吧！(.*?)。\"/", $ret2, $m);

if (!empty($m)) {

if (!empty($m[1])) {

$pieces = explode("，", $m[1]);

$data = [

'name' => $pieces[0],

'address' => $pieces[1],

'mobile' => $pieces[2],

'p' => $pid,

];

$count = Db::table('info')->where('address', $pieces[1])->count();

if ($count > 0) {

} else {

$this->push($data);

}

}

}

$ql->destruct();

})->start([

'maxThread' => 100,

'maxTry' => 3,

]);

}

/**

* 多线程+cookie爬虫

* @return [type] [description]

*/

public function start($url = [])

{

$ql = QueryList::getInstance();

$ql->use(CurlMulti::class);

$ql->use(PhantomJs::class, 'D:/phantomjs-2.1.1-windows/bin/phantomjs.exe');

$ql->rules(['html' => ['html', 'html', '']])

->curlMulti($url)

->success(function (QueryList $ql, CurlMulti $curl, $r) {

$p = $r['info']['url'];

$pid = substr($p, 25);

$ret = $ql->browser(function (\JonnyW\PhantomJs\Http\RequestInterface $r) use ($p, $pid) {

$r->setMethod('GET');

$r->addHeader('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8');

// $r->addHeader('Referer', 'http://cq.meituan.com/s/%E5%90%83%E9%A5%AD/');

$r->addHeader('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 YaBrowser/18.4.0.2080 Yowser/2.5 Safari/537.36');

$r->addHeader('Cookie', 'IKUT=9156; BAIDUID=AA818089000D26F1B318D034B442113F:FG=1; BIDUPSID=AA818089000D26F1B318D034B442113F; PSTM=1526021220; BDUSS=h5dVM2Zk56OTIydUk2TFNFZzExVDBHOFNZQXhMOH5yVHFyQTRaaWRycHdBQzViQVFBQUFBJCQAAAAAAAAAAAEAAADXQoYktKi452pjAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAHBzBltwcwZbTk; Hm_lvt_16bc67e4f6394c05d03992ea0a0e9123=1526714879,1527237021,1527237078; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; Hm_lvt_6859ce5aaf00fb00387e6434e4fcc925=1527583339,1527645854,1527650790,1527651051; PSINO=3; locale=zh; H_PS_PSSID=1449_21111; Hm_lpvt_6859ce5aaf00fb00387e6434e4fcc925=1527652553');

$r->setUrl($p);

$r->setTimeout(10000); // 10 seconds

$r->setDelay(3); // 3 seconds

return $r;

});

$ret2 = $ret->getHtml();

preg_match("/这家店不错哦，一起去吧！(.*?)。\"/", $ret2, $m);

if (!empty($m)) {

if (!empty($m[1])) {

$pieces = explode("，", $m[1]);

$data = [

'name' => $pieces[0],

'address' => $pieces[1],

'mobile' => $pieces[2],

'p' => $pid,

];

$count = Db::table('info')->where('address', $pieces[1])->count();

if ($count > 0) {

} else {

$this->push($data);

}

}

}

$ql->destruct();

})->start([

'maxThread' => 20,

'maxTry' => 3,

]);

}

/**

* 推送列队

* @param array $data [description]

* @return [type] [description]

*/

public function push($data = [])

{

$jobData = json_encode($data);

$jobHandlerClassName = 'app\index\controller\Job';

$jobQueueName = "PaChongShuJu";

$isPushed = Queue::push($jobHandlerClassName, $jobData, $jobQueueName);

// if ($isPushed) {

// echo "ok";

// }else{

// var_dump($isPushed);

// }

}

}

job文件

namespace app\index\controller;

use think\Db;

use think\queue\Job as QueueJob;

class Job

{

public function fire(QueueJob $job, $data)

{

$pieces = json_encode($data);

$this->add_db($pieces);

if ($job->attempts() > 3) {

//通过这个方法可以检查这个任务已经重试了几次了

$job->delete();

}

//如果任务执行成功后 记得删除任务，不然这个任务会重复执行，直到达到最大重试次数后失败后，执行failed方法

$job->delete();

// 也可以重新发布这个任务

// $job->release($delay); //$delay为延迟时间

}

public function failed($data)

{

// ...任务达到最大重试次数后，失败了

}

public function add_db($data = [])

{

$data = (array) json_decode(json_decode($data));

$count = Db::table('info')->where('address', $data['address'])->count();

if ($count == 0) {

Db::table('info')->insert($data);

}

}

}

taskPHP任务入口程序

namespace app\index\controller;

use taskphp\Utils;

use think\Db;

use QL\Ext\CurlMulti;

use QL\Ext\PhantomJs;

use QL\QueryList;

/**

* 测试任务

*/

class Demo

{

/**

* demo任务入口

*/

public static function run()

{

$papachong = new \app\index\controller\Chong();

$papachong->once();

}

public static function run2()

{

$papachong = new \app\index\controller\Chong();

$papachong->once2();

}

public static function run3()

{

$papachong = new \app\index\controller\Test();

$papachong->make_url();

}

}

tp5命令行配置文件(application/command.php)

return [

'app\index\controller\Taskphp',

'think\queue\command\Listen',

'think\queue\command\Restart',

'think\queue\command\Subscribe',

'think\queue\command\Work',

];

执行开始

开启redis服务器

运行监听队列

php think queue:work --queue PaChongShuJu

运行taskPHP任务(win直接运行目录下面的bat文件)开始爬虫

php think start

李雪飞howhowfire
关注
PHP使用swoole实现多线程爬虫
weixin_43814458的博客
04-06 609
在swoole中,php可以借助其启动子进程的方式,实现php的多进程： <?php $s_time = time(); echo '开始时间:'.date('H:i:s',$s_time).PHP_EOL; //进程数 $work_number=6; // $worker=[]; //模拟地址 $curl=[ 'https://blog.csd...
windows自带命令访问redis
最新发布
dfengleicsdn的博客
07-12 95
因特殊场景需要，用windows自带命令curl访问redis。
php curl 爬虫多线程,php结合curl实现多线程抓取
weixin_29112009的博客
03-10 266
php结合curl实现多线程抓取/*curl 多线程抓取*//*** curl 多线程** @param array $array 并行网址* @param int $timeout 超时时间* @return array*/function Curl_http($array,$timeout){$res = array();$mh = curl_multi_init();//创建多个curl语柄...
php网站开发多线程开发_PHP多线程抓取网页实现代码
weixin_42356137的博客
03-08 157
PHP 利用 Curl Functions 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等。受限于php语言本身不支持多线程，所以开发爬虫程序效率并不高，这时候往往需 要借助Curl Multi Functions 它可以实现并发多线程的访问多个url地址。既然 Curl Multi Function如此强大，能否用 Curl Multi Functions 来写并发多线程下...
tp5使用curl特性进行定时多线程爬虫(或任务),使用redis队列
HD2killers的博客
06-01 3075
利用php-(开源工具)实现爬虫 流程说明 -从数据库或者循环构建爬虫的url(包括分页参数) -分段取出 -2 Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 ...
php curl 爬虫多线程,PHP 使用CURL实现多线程抓取网页方案
weixin_39556590的博客
03-10 170
PHP 利用 Curl Functions 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，然而因为php语言本身不支持多线程，所以开发爬虫程序效率并不高，不过可以用 Curl ，借助Curl 这个功能实现并发多线程的访问多个url地址以实现并发多线程抓取网页或者下载文件，代码如下：...
PHP使用CURL实现多线程抓取网页
10-24
PHP 利用 Curl 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，然而因为php语言本身不支持多线程，所以开发爬虫程序效率并不高，不过可以用 Curl ，借助Curl 这个功能实现并发多线程的访问多个url...
结合curl与pthreads,数据库技术的C++多线程网络爬虫
02-20
结合curl与pthreads,数据库技术的网络爬虫;在xp,msql 2000-8.00.2039环境下通过,很值得新手学习,有详细技术说明.所用的其它库提供云盘下载.是本人3个月的工作成果.可下载讯雷,超级旋风等一些不能下的资源.
php与python实现的线程池多线程爬虫功能示例
01-20
本文实例讲述了php与python实现的线程池多线程爬虫功能。分享给大家供大家参考，具体如下： 多线程爬虫可以用于抓取内容了这个可以提升性能了，这里我们来看php与python 线程池多线程爬虫的例子，代码如下： php例子...
php结合curl实现多线程抓取
10-23
PHP利用 Curl可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，然而因为php语言本身不支持多线程，所以开发爬虫程序效率并不高，因此经常需要借助Curl Multi Functions 这个功能实现并发多线程的...
php的curl多线程采集.zip
07-11
在标题为"php的curl多线程采集.zip"的文件中，我们讨论的是如何利用PHP的cURL库进行多线程数据采集，这在大数据抓取、网页爬虫或自动化测试场景中非常有用。 首先，我们需要了解什么是多线程。在计算机科学中，多...
phpcrawler:php爬虫，基于swoole扩展的爬虫，php多进程多线程抓取
05-20
PHP多进程/多线程爬虫 1、基于swoole扩展 2、抓取目前可采用curl或者snoopy 3、解析数据目前可使用 dom解析 其余类库会进一步支持 使用说明 1、安装swoole扩展 最新版本即可 sudo pecl install swoole 2、安装redis扩展 sudo apt-get install redis-server 3、配置config/site.php 4、php start_crawl.php 5、php start_parse.php 目前只是基本功能实现，基本都不支持自定义功能。只支持在CLI下运行
php 爬虫 多线程,PHP使用swoole实现多线程爬虫
weixin_42499067的博客
03-10 267
在swoole中,php可以借助其启动子进程的方式,实现php的多进程：
初识多线程
chan的博客
06-06 502
线程的概念线程，有时被称为轻量级进程(Lightweight Process，LWP)，是程序执行流的最小单元。一个标准的线程由线程ID，当前指令指针(PC)，寄存器集合和堆栈组成。另外，线程自己不拥有系统资源，只拥有一点儿在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个线程可以创建和撤消另一个线程，同一进程中的多个线程之间可以并发执行。由于线程之间的相互制约，致
php 爬虫 多线程,读：我用爬虫一天时间“偷了”知乎一百万用户，只为证明PHP是世界上最好的语言...
weixin_39578867的博客
03-10 275
在互联网上流传着这么一篇文章《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言》，不知道知乎的网站管理人员怎么想的，万一给他的领导知道了……看了他的源码，发现worker.php不就是简化版的workerman框架么，派生出子进程用于采集。然后我在他的源码包里找到了phpQuery.php，可是没找到调用的地方，倒是在cls_query.php和user.php找到了一大堆...
php多携程爬虫框架,分享几套本人常用的多线程(进程)模板 爬虫效率杠杠的
weixin_39811478的博客
04-13 102
多线程模板一# -*- coding: utf-8 -*-import timefrom queue import Queuefrom threading import Threadclass Demo(Thread):def __init__(self, queue):Thread.__init__(self)self.queue = queuedef run(self):while True:...
CURL安装与多线程实战教程：飞信接口示例
本文主要聚焦于CURL的学习和其在多线程环境中的应用，适合对网络请求库有需求的开发者参考。 **CURL安装** 在Windows系统中，CURL通常作为PHP扩展集成，安装时需确保php_curl.dll已启用。若未加载，可在php.ini文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值