Curl多线程

最新推荐文章于 2021-11-07 23:48:57 发布
最新推荐文章于 2021-11-07 23:48:57 发布
阅读量1.3k 收藏 1
点赞数 1
文章标签： php 数据库 操作系统
原文链接：https://my.oschina.net/yonghan/blog/897400
版权
本文详细介绍了PHP的CurlMulti库在多线程抓取、下载、链式任务等方面的应用，展示了如何利用CurlMulti实现高效稳定的网络请求。通过示例代码和性能测试，证明了该库在CPU占用、内存管理和带宽利用方面的优越性。
摘要由CSDN通过智能技术生成

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

Curl多线程

发表于2012 年 7 月 13 日

这个库是目前所有curl相关库中最强的，没有之一。

官网：
https://github.com/ares333/php-curlmulti

QQ群：215348766
1458616858207

工作中经常需要采集一些内容，所以深入研究了一下PHP CURL多线程，不得不说这个扩展很变态。经过几十次的修改终于写出一个完美的CURL类，有多厉害用“终极”二字形容也不为过。PHP文档中资料甚少，到网上也看到一些类，感觉实在太烂，有些类资源占用很高，有些稍微好点的效率真不敢恭维，说白了就是个原始的多线程而已，根本无法充分利用CPU和带宽。

 

本类的特点：
运行绝对稳定。
设置一个并发就会始终以这个并发数进行工作，即使通过回调函数添加任务也不影响。
CPU占用极低，绝大部分CPU消耗在用户的回调函数上。
内存利用率高，任务数量较多（15W个任务占用内存会超过256M）可以使用回调函数添加任务，个数自定。
能够最大限度的占用带宽。
链式任务，比如一个任务需要从多个不同的地址采集数据，可以通过回调一气呵成。
能够对CURL错误进行多次尝试，次数自定（大并发一开始容易产生CURL错误，网络状况或对方服务器稳定性也有可能产生CURL错误）。
回调函数相当灵活，可以多种类型任务同时进行（比如下载文件，抓取网页，分析404可以在一个PHP进程中同时进行）。
可以非常容易的定制任务类型，比如检查404，获取redirect的最后url等。
可以设置缓存，挑战产品节操。

不足：
不能充分利用多核CPU（可以开多个进程解决，需要自己处理任务分割等逻辑），可以用pthreads解决！
最大并发500（或512？），经过测试是CURL 内部限制，超过最大并发会导致总是返回失败。
目前没有断点续传功能。
目前任务是原子性的，不能对一个大文件分为几部分分别开线程下载。

我这里有34W张图片需要下载，先下载13W截图如下


每秒钟下载300张左右图片，每张图片300K左右，下载速度约100MB/s（1G的网卡用的差不多了），速度和下载文件总数有非常小的偏差，这个数值是根据CURL的传输字节数计算而来。速度超过100MB/s的时候SSH基本连接不上了。。。
iostat

主要瓶颈在IO上，否则速度会更快。

采集http://www.lyricsmode.com/的歌词速度也很快，一共60多万歌词页，平均每秒钟能稳定采集1200页(边采集边分析边入库，否则3000+页每秒都不稀奇)，处理采集的HTML的速度根本追不上采集的速度，瓶颈应该是对方服务器速度，那个没有截图，有兴趣的可以试一下。

================================================================
完整文档如下
================================================================

尽可能展示类的特性。此demo环境是本机，所以性能不能达到最高，只做为使用说明，为了高性能请到服务器调试。选择http://www.1ting.com/作为目标站点，这个站比较典型，而且国内速度也很快。

本文用到两个类（这两个类在demo包中已经包含）：
CUrl：多线程类。
PHPQuery：HTML分析，项目地址 http://code.google.com/p/phpquery/。如果google被封这里有较新版本 phpQuery-0.9.5.386.zip。这里用的压缩包中的 phpQuery/phpQuery.php这个单文件类，如果你不会用这个类没关系，用正则分析也可以。

必要的文件包含和初始化实例代码中都省略了。
代码非常完整，可以直接运行，demo请在命令行模式运行（你懂的）。
代码非常简洁。。。
PHPQuery需要php-dom扩展，PHP环境没有的话需要安装。
数据库操作使用PDO，所以也需要PDO扩展。
既然是demo，那么程序上我就一切从简了。
phpQuery很NB，很多变态的用法自己去研究吧，基本可以说无所不能。如果使用phpQuery必须在回调函数中手动调用phpQuery::unloadDocuments();释放，否则phpQuery处理的文档全部都在内存中！！！
并发情况可以用360的连接查看器查看。

CUrl一些必要内容：

  1. CUrl类单线程和多线程都可以使用缓存，并且缓存机制一样。
  2. CUrl类抓取HTML单线程和多线程返回的内容结构一致
    $result=array('info'=>array(),'content'=>'');
    $result['info']是curl_info()的内容，$result['content']是抓取的html文件。
  3. curl配置分为三个级别，优先级由低到高如下，优先级高的会覆盖优先级低的配置。
    默认：如私有方法init()中所示。
    类级别：保存在 $opt这个公有属性中，此CURL对象的所有操作中都会起作用。
    任务级别：多线程任务中添加任务时指定，只在当前任务中起作用。
  4. 类中用到回调函数的地方都使用call_user_func_array()，所以必须先从PHP手册中把这个函数搞明白了。

demo需要的数据表

01 CREATE TABLE `album` (
02   `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
03   `artist_id` int(11) NOT NULL,
04   `name` varchar(255) NOT NULL,
05   `url` varchar(255) NOT NULL,
06   PRIMARY KEY (`id`)
07 ) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
08  
09 CREATE TABLE `artist` (
10   `id` int(11) NOT NULL AUTO_INCREMENT,
11   `name` varchar(255) NOT NULL,
12   `pic` varchar(255) NOT NULL,
13   `url` varchar(255) NOT NULL,
14   PRIMARY KEY (`id`)
15 ) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
16  
17 CREATE TABLE `songlist` (
18   `id` int(11) NOT NULL AUTO_INCREMENT,
19   `artist_id` int(11) NOT NULL,
20   `name` varchar(255) NOT NULL,
21   `album_url` varchar(255) NOT NULL,
22   PRIMARY KEY (`id`)
23 ) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

压缩包中有程序运行的所有必要文件，导入curl.sql到test数据库，修改init.php中的配置就可以直接运行了！！
命令行:
php demo1.php
php demo2.php
php demo3.php
...
然后数据表中就有数据了。。。
demo中都没有phpQuery::unloadDocuments()操作，请自行加上。
windows命令行中文可能乱码导致非常奇怪的错误（尤其是demo5），windows命令行默认是GBK编码，可以php中用iconv转码，或修改命令行默认编码(没测试)，所有代码在linux下测试完全正确。

完整Demo从此正式开始...

1.单线程用法

CUrl类有两个单线程的方法read()，download()。

1 $url='http://www.1ting.com/group/group0_2.html';
2 $result=$curl->read($url);
3 $html=phpQuery::newDocumentHTML($result['content']);
4 $li=$html['ul.allSinger li a'];
5 $st=$db->prepare("insert into artist(name,url) values(?,?)");
6 foreach($li as $v){
7     $v=pq($v);
8     $st->execute(array(trim($v->text()),trim($v->attr('href'))));
9 }

用单线程方法抓取女歌手列表页，用PHPQuery进行分析，取出歌手名子和详情页地址并存入artist表，本次示例抓取了2417个歌手。

最低0.47元/天 解锁文章
weixin_33733810
关注
curl线程池多线程调用
09-20
（2） 多线程。单个线程下载速度毕竟有限，使用多线程去调用接口。实现高并发高性能，需要考虑资源分配和冲突的问题。
CURL多线程类库
07-25
强大的 CURL多线程类库 ，性能瓶颈在IO读写，如果不是IO瓶颈，性能会更快。欢迎伙伴们测试 内置7个demo示例
多线程的cURL
HAIFU_XU
11-04 1344
本处是一个可以灵活的多线程的调用 cURL的。 这里跟php手册 http://us2.php.net/manual/zh/function.curl-multi-select.php 中提供的样例不同，代码执行效率要高不少 <?php class request_setting { public $url = false; public $method = 'G
Curl多线程|CurlMulti
qdujunjie的专栏
02-20 7121
今天发现了一个多线程的curl工具，竟然还是国内自己开发的，地址在这里：http://blog.phpdr.net/curl多线程.html，目前还在持续更新，所以打算试试： 工作中经常需要采集一些内容，所以深入研究了一下PHP CURL多线程，不得不说这个扩展很变态。经过几十次的修改终于写出一个完美的CURL类，有多厉害用“终极”二字形容也不为过。PHP文档
使用curl实现多线程
weixin_30656145的博客
07-24 315
使用curl实现多线程 curl一般用来抓取网页，第二种就是get或者post数据，第三种应用就是实现PHP的多线程任务 下面来实现多线程的 <?php /* curl 多线程抓取 */ /** * curl 多线程 * * @param array $array 并行网址 * @param int $timeout 超时时间 * @...
CURL 多线程问题
weixin_34365417的博客
07-28 224
http://blog.csdn.net/wslz2001/article/details/12117127 默认情况下libcurl完成一个任务以后，出于重用连接的考虑不会马上关闭 如果没有新的TCP请求来重用这个连接，那么只能等到CLOSE_WAIT超时，这个时间默认在7200秒甚至更高，太多的CLOSE_WAIT连接会导致性能问题 解决方法： curl_easy_seto...
利用curl 多线程 模拟 并发的详解
12-19
总结起来，使用`curl`的多线程功能可以有效地并发处理多个网络请求，通过`curl_multi_init`、`curl_multi_add_handle`、`curl_multi_exec`等函数组合，可以构建出高效的数据抓取或请求系统。同时，通过合理地使用`...
PHP Curl多线程原理实例详解
10-26
以下是一个简单的Curl多线程实例： ```php // 初始化两个Curl句柄 $ch1 = curl_init(); $ch2 = curl_init(); // 设置URL和选项 curl_setopt($ch1, CURLOPT_URL, "http://www.example1.com/"); curl_setopt($ch1, ...
libcurl，多线程，gzip，共享DNS
bestpool的专栏
04-17 5099
转载 http://hi.baidu.com/jjxiaoyan/item/e17b9ec3e31b93d4964452d8 libcurl是一个不错的socket库，而且又是开源的。如果仅仅是简单的HTTP请求，那么只需要几行代码就能轻松实现。不过要用libcurl实现高效、高频率的HTTP请求就需要对libcurl有深入的了解才行。如果阅读英文无障碍的话，那么libcurl自带的示
php curl 多线程实现-php程序员的笔记
06-08
php curl 多线程实现-php程序员的笔记
curl多线程抓取数据
cpter990的博客
05-09 401
curl模拟多线程，传入一维数组url /**  * curl模拟多线程 * * @access public * @author 2017.4 * @param array * @return array */  function getCurlObject($urls = array()){     $queue = curl_multi_init(); //允许并行地处理
curl多线程批量请求
Mia专栏
11-20 6566
测试经常遇到查看大数据量URL请求是否正常。单线程跑的太慢 可以自定义线程数进行跑，细节不多说，其实我也是上网上凑的，拿下来修修改改能用即可。 #!/bin/bash ttime=`date +"%Y-%m-%d %H:%M:%S"` #允许的线程数 THREAD_NUM=5 #定义描述符为9的管道 mkfifo tmp exec 9&lt;&gt;tmp #预先写入指定数量的换行符，一个换...
curl多线程使用注意事项
YT专栏
07-02 1522
多线程时候，注意初始化和超时功能使用 1.必须在最开始调用： curl_global_init(CURL_GLOBAL_ALL); 2. 多线程对超时功能支持对有影响，例如curl_easy_setopt(curl, CURLOPT_TIMEOUT, 30L)， 必须配合调用这个： easy_setopt(curl, CURLOPT_NOSIGNAL, (long)1); 3.以上第...
php curl 多线程
风火燎原、
12-06 1356
$offmh = curl_multi_init(); //开启curl多线程 foreach ($offer as $i => $url) { $conn[$i] = curl_init($url); //开启curl curl_setopt($conn[$i], CURLOPT_RETURNTRANSFER, true);// 执行后不直接打印出来 curl_setopt($con
curl 多线程请求 (可使用代理IP)
Johnston先森的博客
10-16 814
/**       * curl 多线程       * @param array $urlArray    并行网址       * @return str      $method    请求方式(get,post)      * @return str      $header     请求头      * @return str      $proxy        代理IP
curl使用小记(四)——在多线程中使用的问题总结
人生海海 山山而川
11-07 2476
在多线程中使用CURL的问题总结
PHP CURL实现单线程、多线程方法
zsqwmj
10-28 1729
PHP 利用 Curl 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等。 然而因为php语言本身不支持多线程，所以开发爬虫程序效率并不高，一般采集数据可以利用 phpQuery类来采集数据库， 在此之外也可以用 Curl ，借助Curl 这个功能实现并发多线程的访问多个url地址以实现并发多线程抓取网页或者下载文件。 如果需要了解curl所有函数可以看这里：函数列表查看 下面是多线程使用到的curl相关函数： curl_multi_add_handle — 向curl批处理会话中添加
luacurl多线程下载
最新发布
10-13
在使用luacurl进行多线程下载时，可以使用curl的multi接口来实现。 具体步骤如下： 1. 创建一个curl的multi对象 2. 创建多个curl的easy对象，并设置对应的下载链接、保存路径等参数 3. 将这些easy对象添加到multi...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值