关闭

[置顶] php爬虫教程(二)数据请求分析

标签: php爬虫
1021人阅读 评论(0) 收藏 举报
分类:

可以看到这个请求返回的就是整个页面的html,如果我们需要这里的某一个数据就可以通过正则匹配的方式匹配出来/<title>(.*?)<\/title>/ 这样title就被匹配出来了


这是我实际应用的一个代码段仅供参考。

foreach($arr as $v=>$k){
  $str = '';
  $res = $client->get("http://waimai.xxxxx.com/waimai/shop/$v");
  $res = str_replace(array("\r\n", "\r", "\n"), "", $res);
  preg_match_all('/<h3   data-title="(.*?)".*?<span class="sales-count">月售(.*?)份<\/span>/',$res,$arr2);
  unset($arr2[0]);
  for($i=0;$i<count($arr2[1]);$i++){
    $str .= $k.",".$arr2[1][$i].','.$arr2[2][$i]."\n";
  }
  if(empty($str)) echo "error\n";
  $file = fopen("./xxx.txt",'a+');
  fwrite($file,$str);
  fclose($file);
}

总结:很多时候我们抓数据的时候都可以很直观的抓取出来,无论是正则还是json,只要页面上有的东西我们都可以获取出来,然后就可以存储或者走自己的逻辑。

最主要的是我们要知道去请求哪个请求,这个请求有多少个参数都是做什么的,get或者post都需要你分析出来然后通过代码的方式来模拟出来。


1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:34553次
    • 积分:842
    • 等级:
    • 排名:千里之外
    • 原创:49篇
    • 转载:3篇
    • 译文:0篇
    • 评论:22条
    最新评论