如何利用EasySwoole多进程多协程redis队列实现爬虫

XueSi~EasySwoole

已于 2024-06-20 22:34:19 修改

阅读量396

点赞数 3

文章标签： php swoole 爬虫

于 2024-06-20 22:33:00 首次发布

本文链接：https://blog.csdn.net/qq_35151255/article/details/139844140

版权

如何利用EasySwoole多进程多协程redis队列实现爬虫

什么是爬虫？

爬虫是一种按照一定的规则，自动地抓取网上数据的程序或脚本

爬虫之前的准备？

根据初始页面，制定规则获取更多的需要爬取的页面

根据页面内容制定规则，爬取想要的东西

用到的组件及框架

EasySwoole框架 https://www.easyswoole.com/
redis连接池组件 https://www.easyswoole.com/Components/Redis/pool.html
协程HTTPClient组件
https://www.easyswoole.com/Components/httpClient.html
QueryList规则采集工具 http://www.querylist.cc/docs/guide/v4/overview

根据页面内容制定规则

在这里插入图片描述

// 开始生产,根据内容，设置规则
libxml_use_internal_errors(true);
$ql = QueryList::html($body);
//获取当前页面所有的图片
$rules = [
	'src' => ['.list ul img', 'src'],
	'alt' => ['.list ul img', 'alt'],
         ];
//获取下个页面要爬取的地址链接
$nextUrl = $ql->find('.page .prev')->eq(1)->attr('href');
$imgList = $ql->rules($rules)->encoding('UTF-8','GB2312')->query()->getData()->all();

然后分别入队列

foreach ($imgList as $img)
{
	RedisQueue::getInstance()->push(CONSUME,$img);
}
//要爬取的页数,没有则停止生产
if(empty($nextUrl))
{
	\co::sleep(1);
	continue;
}
Logger::getInstance()->console($nextUrl);
//页面中的爬取链接不带host，要拼接上
RedisQueue::getInstance()->push(QueueName,'http://www.netbian.com'.$nextUrl);
\co::sleep(0.5);