php用cul采集,php,culr_为什么我这段curl采集,单线程比多线程还快?，php,culr,多线程 - phpStudy...

为什么我这段curl采集,单线程比多线程还快?

我这里写了个简单的curl采集,但是执行后发现单线程执行的方式比多线程执行要快很多.

是我的写法又问题吗?

$images = [

"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151826_52170.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415152035_59698.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20140507/20140507143708_26688.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20140417/20140417095153_61993.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20140426/20140426094716_96396.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20130730/20130730160625_21437.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731170502_90104.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731165147_80414.jpg",

"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",

];

这个是单线程的函数:

function getImg($url = "", $filename = "")

{

$ch = curl_init ();

$opt [CURLOPT_URL] = $url;

$opt [CURLOPT_HEADER] = true;

$opt [CURLOPT_CONNECTTIMEOUT] = 10;

$opt [CURLOPT_TIMEOUT] = 60;

$opt [CURLOPT_AUTOREFERER] = true;

$opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';

$opt [CURLOPT_RETURNTRANSFER] = true;

// $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向

// $opt [CURLOPT_MAXREDIRS] = 10;

curl_setopt_array ( $ch, $opt );

$r = curl_exec ( $ch );

if (false === $r) {

$errno = curl_errno ( $ch );

$err = curl_error ( $ch );

curl_close ( $ch );

return false;

}

// 鉴定一下header:200 才写入文件

$header = explode("\r\n\r\n", $r);

if (strpos($header[0], 'HTTP/1.1 200') === 0) {

file_put_contents($filename, $header[1]);

}

curl_close ( $ch );

return true;

}

又尝试用curl_multi系列函数,但直接看的手册,没完全弄明白:

// 多线程采集数据

function getImgMulti($url=[] , $filename=[]){

// 创建批处理cURL句柄

$mh = curl_multi_init();

// 这里可以加n=10个线程

foreach ($url as $k => $v ) {

$ch[$k] = curl_init();

$opt [CURLOPT_URL] = $v;

$opt [CURLOPT_HEADER] = true;

$opt [CURLOPT_CONNECTTIMEOUT] = 10;

$opt [CURLOPT_TIMEOUT] = 60;

$opt [CURLOPT_AUTOREFERER] = true;

$opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';

$opt [CURLOPT_RETURNTRANSFER] = true;

// $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向

// $opt [CURLOPT_MAXREDIRS] = 10;

curl_setopt_array ( $ch[$k], $opt );

// 增加1个句柄

curl_multi_add_handle($mh,$ch[$k]);

}

$running=null;

// 执行批处理句柄

do {

curl_multi_exec($mh,$running);

} while($running > 0);

for ($i=0; $i < 10; $i++) {

$r = curl_multi_getcontent($ch[$i]);

// 鉴定一下header:200 才写入文件

$header = explode("\r\n\r\n", $r);

if (strpos($header[0], 'HTTP/1.1 200') === 0) {

file_put_contents('pics/'.$i.'.jpg', $header[1]);

}

}

// 关闭全部句柄

// curl_multi_remove_handle($mh, $ch1);

curl_multi_close($mh);

}

执行结果,循环执行单线程大约1.7秒完成,后面这个3.5秒完成.

可能是我对这个函数的用法没弄透,请哪位来解释下原因?

----后续补充----

我在windows上面测试的,难道说因为win的php多线程有别的问题?

另外还参考了别人写好的php类

http://blog.eiodesign.com/archives/86

用这个类库又做了一遍采集,结果还是一样,更慢了

// 测试库采集

require("libs/class_curl_multi.php");

$mp = new MultiHttpRequest();

//远程图片本地化

$mp->set_urls($images);

$images_result = $mp->start();

foreach ((array)$images_result as $image_key => $image_value) {

if (!empty($image_key)) {

_flush("store image:".$image_key."
");

file_put_contents('pics/'.$image_key.'.jpg',$image_value);

}

}

用时4.05秒

是因为我对这个php的多线程理解有问题,还是其他原因造成这种差距呢? 貌似多线程并没有提高采集效率.反而影响了.

相关阅读:

jquery如何实现表单输入内容实时预览

假如网站设计的时候优先考虑视障人士的需求……

erlang 使用ssl连接报错 TLS connection is closed

handlebars

string.Template与str.format()为什么同时存在

jquery 加减效果的++和--的问题？

jquery的$符能返回默认dom对象吗？

js/jquery选择器的遍历，为什么用.class或者tagname的速度要快于[name='my-name']

怎么样深入理解js中为什么没有重载呢

ionic content滚动条

Java中实现Runnable接口的类使用for循环时不能处理同一个对象资源？

iOS 同事写的创建代码的形式有点不认识

如何正确的离线安装debian 7?

据说在 python 下，某个情况下 "i += x" 不等于 "i = i + x"？

avalon 渲染BUG ?

对于用JS驱动的单页面应用，有什么优雅的方式配合后台进行鉴权的跳转？

怎么让input的type=submit失效呢，disabled不行啊，在js上

ThinkPHP的模块跳转

在学习的过程中是先把例子弄得十分熟悉再进行下一步还是大概掌握了就继续去做更有难度的例子好？

请问一下，django socketio 官方的chat demo