httpqyl.php,php 数据抓取curl+simple_html_dom总结

背景：在新开发的项目中，需要进行数据抓取，因为之前没有做过这个方面的内容，所以开始时候觉得会很麻烦。在谷歌了一把php数据抓取后，找到了现行的技术查看方向curl+simple_html_dom，以下记录的是自己在应用的实际总结。

第一步：首先封装出一个curl调用函数，完成curl参数的配置。

/**

*

* get形式curl获取信息

* @param unknown_type $url

*/

function getdatabycurl($url,$refer="http://www.baidu.com",$timeout=30){

header("Content-type: text/html; charset=utf-8");

$cookiefile = realpath("./")."/Application/Runtime/Temp/cookie.txt";//创建一个用于存放cookie信息的临时文件,

if (!file_exists($cookiefile)){

$file = @file_put_contents($cookiefile, "");

}

$ch = curl_init();

//设置选项，包括URL

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_NOBODY,0);

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)');

curl_setopt($ch, CURLOPT_MAXREDIRS, 300);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //获取数据返回流形式

//curl_setopt($ch, CURLOPT_AUTOREFERER, true); //重定向时，自动设置header中的Referer:信息

curl_setopt($ch, CURLOPT_REFERER, $refer); //设定访问来源

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); //启用时会将服务器服务器返回的"Location: "放在header中递归的返回给服务器，使用CURLOPT_MAXREDIRS可以限定递归返回的数量

// 对于cookie保存

//curl_setopt($ch, CURLOPT_COOKIE, $cookie);

curl_setopt($ch, CURLOPT_COOKIESESSION, true);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefile);//关闭连接时，将服务器端返回的cookie保存在以下文件中

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefile);

//执行并获取HTML文档内容

//$output = curl_exec($ch);

for ($i=0;$i<=5;$i++){

$output = curl_exec($ch);

if (!empty($output)){

break;

}

}

//释放curl句柄

curl_close($ch);

//unlink($cookiefile);

// 当返回的内容为空时，重新尝试读取，最多3次

/*if (empty($output) && $count <= 2){

//echo "请求失败的url ".$url.date("Y-m-d H:i:s",time())."
";

$output = getdatabycurl($url,$count+1,$timeout+30);

}*/

return $output;

}说明：参数$url为要抓取数据的页面地址，参数$refer为模拟的请求抓取页面的来源地址可以填写成抓取页面的域名，参数$timeout为连接超时时间设置。

第二步：引入simple_html_dom类文件

include_once 'simple_html_dom.php';第三步：用simple_html_dom内的函数str_get_html将curl返回的结果解析成可以应用选择器选取元素的内容

$html = str_get_html($goods_detail_html);第四步：通过simple_html_dom里的find方法选取到需要抓取的元素位置，进行解析

$e = $html->find('.attributes-list li',$i);

$attr_name = $e->plaintext;第五步：检查解析出的结果编码是否正常，如不正常需要进行转码操作

/**

*

* 将非utf-8的内容转为utf-8

* @param unknown_type $comment

*/

function changeChartset($comment){

$encoding = mb_detect_encoding($comment, array("UTF-8","ASCII","GB2312","GBK"));

$comment = iconv($encoding, 'UTF-8', $comment);

return $comment;

}到此，简单的php数据抓取就算完成了，查看了下谷歌，如果想进行多线程抓取的话，需要先装上支持多线程的扩展库。因为我的项目服务器是单台，并且已经有了其他项目，也就没冒风险去装了，以后有机会的话，会尝试下php的多线程开发。