PHP版本:5.5.30
服务器:apche
抓取网站地址:http://nc.mofcom.gov.cn/channel/gxdj/jghq/jg_list.shtml
抓取目标:获取当日的价格数据
一、准备工作:
1.打开php.ini配置文件,开启curl功能扩展
extension=php_curl.dll
如果开启之后(记得重启apache服务),仍然不能使用curl的扩展方法,请检查环境变量是否设置。
二、分析所要抓取的页面,数据结构
查看http://nc.mofcom.gov.cn/channel/gxdj/jghq/jg_list.shtml源码。
看到所有数据都在<tbody>和</tbody>标签之中。
三、思路
1.获取当前网页数据,截取到<tbody>和</tbody>。(其中数据为多行组成:<tr><td></td></tr>)
2.在<tbody>和</tbody>中,逐个读取行,和列的值即可获得数据。
3.当日的数据,可能在第一页,第二页等多页。因此,进行翻页读取,直到页面中找不到当日的数据,停止程序运行!
总共就是三个循环:页循环-->行循环-->列循环
四、代码实现
//定义要抓取的页面地址
$url='http://nc.mofcom.gov.cn/channel/gxdj/jghq/jg_list.shtml';//?page=1
//初始化curl连接
$curl=curl_init();
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 0);
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$flag="start"; //页循环执行标志,start:表示继续执行。 end:标志终止执行(本页面找不到包含当天日期的数据)。
//开始页循环
$i=1; //$i作为page的值,控制翻页
$myResultSet=[];//定义数组,用于存放所有行的数据
while ($i>0)//循环停止条件为 :本页面找不到包含当天日期的数据
{
if($flag=="end"){
//停止页循环
break;
}
//设置所要抓取的网页地址,及页数
curl_setopt($curl, CURLOPT_URL,$url."?page=".$i);
// 运行cURL,请求网页
$data = curl_exec($curl);
//通过substr和strpos函数,获取<tbody>和</tbody>之间的数据
$mycontent=substr($data, strpos($data, "<tbody>"),strpos($data, "</tbody>")-strpos($data, "<tbody>"));
//<table>行循环读取(<tr>)
while(strpos($mycontent, "<tr>")!==false){//如果行存在strpos($mycontent, "<tr>")
$myResultTr=[]; //定义局部行数组。用于存放一行的数据,每次行循环重新定义,以清空数组中上一行的数据
//获取行
$mytr=substr($mycontent, strpos($mycontent, "<tr>"),strpos($mycontent, "</tr>")-strpos($mycontent, "<tr>"));
//如果不是当前日期的数据、设置程序终止标志、退出循环
if(strpos($mytr, date("Y-m-d"))===false){ //本页面找不到包含当天日期的数据,
$flag="end"; //设置标志为end。
break;
}
//列循环 获取前四列
$j=0; //列标识
//&&strpos($mytr, date("Y-m-d"))!==false
while(strpos($mytr, "<td>")!==false){
if($j>=4){ //第4列后的数据是不需要的。
break;
}
//获取列
$mytd=substr($mytr, strpos($mytr, "<td>"),strpos($mytr, "</td>")-strpos($mytr, "<td>"));
$pre=array(" "," ","\t","\n","\r");
//str_replace将值中包含的空格、制表符、换行符、回车去除。 strip_tags去除html标签
//echo str_replace($pre, '', strip_tags($mytd));
//将列数据,压入行结果中
array_push($myResultTr, str_replace($pre, '', strip_tags($mytd)));
$mytr=substr($mytr, strpos($mytr, "</td>")+5);
$j++;
}
//将行结果,压入到总结果集中
array_push($myResultSet, $myResultTr);
//改变$mycontent (截取掉第一行数据,保留剩下数据
$mycontent=substr($mycontent, strpos($mycontent, "</tr>")+5);
}
$i++;
}
var_dump($myResultSet); //打印出抓取到的所有数据
echo "application stop in page".--$i;
// 关闭URL请求
curl_close($curl);
五、测试结果:
抓取到127条数据, 网页执行到第10页的时候停止下来。