php爬虫教程(二)数据请求分析

原创 2016年08月30日 15:18:51

可以看到这个请求返回的就是整个页面的html,如果我们需要这里的某一个数据就可以通过正则匹配的方式匹配出来/<title>(.*?)<\/title>/ 这样title就被匹配出来了


这是我实际应用的一个代码段仅供参考。

foreach($arr as $v=>$k){
  $str = '';
  $res = $client->get("http://waimai.xxxxx.com/waimai/shop/$v");
  $res = str_replace(array("\r\n", "\r", "\n"), "", $res);
  preg_match_all('/<h3   data-title="(.*?)".*?<span class="sales-count">月售(.*?)份<\/span>/',$res,$arr2);
  unset($arr2[0]);
  for($i=0;$i<count($arr2[1]);$i++){
    $str .= $k.",".$arr2[1][$i].','.$arr2[2][$i]."\n";
  }
  if(empty($str)) echo "error\n";
  $file = fopen("./xxx.txt",'a+');
  fwrite($file,$str);
  fclose($file);
}

总结:很多时候我们抓数据的时候都可以很直观的抓取出来,无论是正则还是json,只要页面上有的东西我们都可以获取出来,然后就可以存储或者走自己的逻辑。

最主要的是我们要知道去请求哪个请求,这个请求有多少个参数都是做什么的,get或者post都需要你分析出来然后通过代码的方式来模拟出来。


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

php爬虫教程(三)规则分析

像我之前说的例子就是很简单的抓取例子,也有的平台为了防止爬虫抓取数据很做一些请求的验证。

php爬虫教程(五)提高爬虫抓取效率

多进程抓取

php爬虫教程(一) 简单的页面抓取

最近朋友抓取点数据,写了几个抓取数据的脚本。 主要功能是,分别抓起x了么,美x,x度外卖的餐厅和菜品数据 ,后期我把代码分享出来。 今天就先说说简单的页面抓取 -------------------...

零基础如何学爬虫技术?

路人甲 ,教你如何编程 190 人赞同 第一:Python爬虫学习系列教程(来源于某博主:http://cuiqingcai.com/1052.html) Python版...

php爬虫教程(四)抓取数据并进行处理

经过链接的分析,数据的分析,再加上规则的验证。 很容易的我们就get到了我们打算抓取到的数据, so,我们就可以做我们想做的事情了。例如: <?php header("Content-type:tex...

网页抓取:PHP实现网页爬虫方式小结

抓取某一个网页中的内容,需要对DOM树进行解析,找到指定节点后,再抓取我们需要的内容,过程有点繁琐。LZ总结了几种常用的、易于实现的网页抓取方式,如果熟悉JQuery选择器,这几种框架会相当简单。 ...

PHP爬虫最全总结1

爬虫是我一直以来跃跃欲试的技术,现在的爬虫框架很多,比较流行的是基于python,nodejs,java,C#,PHP的的框架,其中又以基于python的爬虫流行最为广泛,还有的已经是一套傻瓜式的软件...

PHP cURL 应用(入门详解教程)

Written by  Zjmainstay本文转自:http://www.zjmainstay.cn/php-curl 本文将通过案例,整合浏览器工具与PHP程序,教你如何让数据 唾手可得...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)