我刚刚才知道php的curl居然有多线程版，以后的采集过程就不需要再使用Python的多线程咯。
许多人对php手册中语焉不详的curl_multi一族的函数头疼不已，它们文档少，给的例子 更是简单的让你无从借鉴，我也曾经找了许多网页，都没见一个完整的应用例子。
# curl_multi_add_handle
# curl_multi_close
# curl_multi_exec
# curl_multi_getcontent
# curl_multi_info_read
# curl_multi_init
# curl_multi_remove_handle
# curl_multi_select
一般来说，想到要用这些函数时，目的显然应该是要同时请求多个url，而不是一个一个依次请求，否则不如自己循环去调curl_exec好了。
步骤总结如下：
第一步：调用curl_multi_init
第二步：循环调用curl_multi_add_handle
这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步：持续调用curl_multi_exec
第四步：根据需要循环调用curl_multi_getcontent获取结果
第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close
第六步：调用curl_multi_close
这里有一个网上找的简单例子，其作者称为dirty的例子，（稍后我会说明为何dirty）：
/*
Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1
*/
$connomains = array(
"http://www.cnn.com/",
"http://www.canada.com/",
"http://www.yahoo.com/"
);
$mh = curl_multi_init();
foreach ($connomains as $i => $url) {
$conn[$i]=curl_init($url);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
curl_multi_add_handle ($mh,$conn[$i]);
}
do { $n=curl_multi_exec($mh,$active); } while ($active);
foreach ($connomains as $i => $url) {
$res[$i]=curl_multi_getcontent($conn[$i]);
curl_close($conn[$i]);
}
print_r($res);
整个使用过程差不多就是这样，但是，这个简单代码有个致命弱点，就是在do循环的那段，在整个url请求期间是个死循环，它会轻易导致CPU占用100%。
现在我们来改进它，这里要用到一个几乎没有任何文档的函数curl_multi_select了，虽然C的curl库对select有说明，但是，php里的接口和用法确与C中有不同。
把上面do的那段改成下面这样：
do {
$mrc = curl_multi_exec($mh,$active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
因为$active要等全部url数据接受完毕才变成false，所以这里用到了curl_multi_exec的返回值判断是否还有数据，当有数据的时候就不停调用curl_multi_exec，暂时没有数据就进入select阶段，新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。
另外：还有一些细节的地方可能有时候要遇到：
控制每一个请求的超时时间，在curl_multi_add_handle之前通过curl_setopt去做：
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判断是否超时了或者其他错误，在curl_multi_getcontent之前用：curl_error($conn[$i]);
孤魂写的一个多线程的函数版：
<?php
$text = remote(array('http://www.kalvin.cn/about-me/','http://www.kalvin.cn/'));
print_r($text);
function remote($urls) {
if (!is_array($urls) or count($urls) == 0) {
return false;
}
$curl = $text = array();
$handle = curl_multi_init();
foreach($urls as $k => $v) {
$nurl[$k]= preg_replace('~([^:\/\.]+)~ei', "rawurlencode('\\1')", $v);
$curl[$k] = curl_init($nurl[$k]);
curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl[$k], CURLOPT_HEADER, 0);
curl_multi_add_handle ($handle, $curl[$k]);
}
$active = null;
do {
$mrc = curl_multi_exec($handle, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active && $mrc == CURLM_OK) {
if (curl_multi_select($handle) != -1) {
do {
$mrc = curl_multi_exec($handle, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
foreach ($curl as $k => $v) {
if (curl_error($curl[$k]) == "") {
$text[$k] = (string) curl_multi_getcontent($curl[$k]);
}
curl_multi_remove_handle($handle, $curl[$k]);
curl_close($curl[$k]);
}
curl_multi_close($handle);
return $text;
} 一个多线程的采集类
https://github.com/xfeng/MultiHttpRequest
<?php
/*
PHP通用采集
支持多列表匹配；
页面内容压缩后匹配，降低规则难度；
多线程采集，速度更快，为防止目标站限制注意设置并发数量；
采集后导出content里的内容和images文件夹中图片即可；
echo str_pad(1,8,"0",STR_PAD_LEFT);00000001
*/
header("Content-type: text/html;charset=utf-8");
set_time_limit(0);
require("libs/class_curl_multi.php");
//连接数据库
$link = mysql_connect("127.0.0.1:3306","root","");
mysql_select_db("test",$link);
//清空数据库
mysql_query("TRUNCATE TABLE content");
//域名前缀
$base = "http://sellbest.net";
//需要采集的规则列表（分页）
$list = array(
//'http://sellbest.net/by-brand/page[1-14]/1-PRADA.html',
'http://sellbest.net/by-brand/limit1800/page[1-1]/1-PRADA.html',
);
//在列表页面内容链接表达式
$list_rules = '<p class="productName"><a href="(.*)">.*</a>';
//内容页面信息字段表达式
$detail_rules = array(
'meta_title'=>'<title>(.*)</title>',
'meta_keywords'=>'<meta name="keywords" content="(.*)" />',
'meta_description'=>'<meta name="description" content="(.*)" />',
'product_name'=>'<h4 class="h4-title float-l"> (.*)</h4>',
'product_image'=>'<div class="v-inner">.*<a href="(.*)" id="originalImg"><img src=".*" alt=".*" /></a>.*</div>',
'product_price'=>'Our Price : <strong>(.*)</strong>',
'product_description'=>'<div class="description-text" id="description"><div class="border-cont">(.*)</div>',
);
//实例
$mp = new MultiHttpRequest();
//调试使用记录采集条目
$j = 1;
//每次并发几个链接
$limit = 10;
//开始采集
foreach ($list as $link) {
//解析列表页数
preg_match_all('#\[(.*)\]#isU',$link,$_page);
if($_page[1][0]==''){
continue;
}
$pages = explode('-',$_page[1][0]);
if(count($pages) != 2){
continue;
}
$urls = array();
for($i=$pages[0];$i< =$pages[1];$i++){
if(count($urls) < $limit){
$urls[] = preg_replace('#\[(.*)\]#isU',$i,$link);
if($i != $pages[1]){
continue;
}
}
//采集列表内容
$mp->set_urls($urls);
$contents = $mp->start();
foreach ($contents as $content) {
$content = _prefilter($content);
//debug
//exit($content);
//匹配内容
preg_match_all('#'.addslashes($list_rules).'#isU',$content,$pregArr);
$detail_urls = array();
foreach($pregArr[1] as $detail_key=>$detail_value){
$data = array();
if(count($detail_urls) < $limit ){
$detail_urls[] = $base.$detail_value;
if($pregArr[1][$detail_key+1] != ''){
continue;
}
}
//print_r($detail_urls);
//continue;
$mp->set_urls($detail_urls);
$details = $mp->start();
//图片路径临时存放
$images_urls = array();
//采集内容页面
foreach ($details as $detail) {
$detail = _prefilter($detail);
//debug
exit($detail);
foreach ($detail_rules as $key => $value) {
preg_match_all('#'.addslashes($value).'#isU',$detail,$detailArr);
//处理特殊这段信息
switch ($key) {
case 'product_image':
$data[$key] = "images/".md5($detailArr[1][0]).".jpg";
if(!file_exists($data[$key])){
$images_urls[$data[$key]] = $base.$detailArr[1][0];
//file_put_contents($data[$key],$mp->get_content($base.$detailArr[1][0]));
}
break;
case 'product_description':
$data[$key] = trim(strip_tags($detailArr[1][0]));
break;
default:
$data[$key] = $detailArr[1][0];
break;
}
}
//产品url
$data['product_url'] = _title($data['product_name']);
//转义采集后的数据
foreach ($data as $_k => $_v) {
$data[$_k] = addslashes($_v);
}
//入库
$r = mysql_query("
insert into `content` values(
null,
'{$data['meta_title']}',
'{$data['meta_keywords']}',
'{$data['meta_description']}',
'{$data['product_name']}',
'{$data['product_image']}',
'{$data['product_price']}',
'{$data['product_description']}',
'{$data['product_url']}')");
//打印log
_flush($j++."|".$r."|".$data['product_name']."\n");
//_flush($data);
}
//远程图片本地化
$mp->set_urls($images_urls);
$images = $mp->start();
foreach ((array)$images as $image_key => $image_value) {
_flush($image_key."\n");
file_put_contents($image_key,$image_value);
}
//清空内容url并加入本次循环url。不然本次会被跳过
$detail_urls = array($base.$detail_value);
}
}
//清空内容url并加入本次循环url。不然本次会被跳过
$urls = array(preg_replace('#\[(.*)\]#isU',$i,$link));
}
}
//=========================================================
function _flush($msg)
{
print_r ($msg);
ob_flush();
flush();
}
function _title($title, $separator = '-' )
{
$title = preg_replace('![^'.preg_quote($separator).'\pL\pN\s]+!u', '', strtolower($title));
$title = preg_replace('!['.preg_quote($separator).'\s]+!u', $separator, $title);
return trim($title, $separator);
}
function _prefilter($output) {
$output=preg_replace("/\/\/[\S\f\t\v ]*?;[\r|\n]/","",$output);
$output=preg_replace("/\< \!\-\-[\s\S]*?\-\-\>/","",$output);
$output=preg_replace("/\>[\s]+\< ",$output);
$output=preg_replace("/;[\s]+/",";",$output);
$output=preg_replace("/[\s]+\}/","}",$output);
$output=preg_replace("/}[\s]+/","}",$output);
$output=preg_replace("/\{[\s]+/","{",$output);
$output=preg_replace("/([\s]){2,}/","$1",$output);
$output=preg_replace("/[\s]+\=[\s]+/","=",$output);
return $output;
}
?>
1340
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
