php爬虫教程(二)数据请求分析

原创 2016年08月30日 15:18:51

可以看到这个请求返回的就是整个页面的html,如果我们需要这里的某一个数据就可以通过正则匹配的方式匹配出来/<title>(.*?)<\/title>/ 这样title就被匹配出来了


这是我实际应用的一个代码段仅供参考。

foreach($arr as $v=>$k){
  $str = '';
  $res = $client->get("http://waimai.xxxxx.com/waimai/shop/$v");
  $res = str_replace(array("\r\n", "\r", "\n"), "", $res);
  preg_match_all('/<h3   data-title="(.*?)".*?<span class="sales-count">月售(.*?)份<\/span>/',$res,$arr2);
  unset($arr2[0]);
  for($i=0;$i<count($arr2[1]);$i++){
    $str .= $k.",".$arr2[1][$i].','.$arr2[2][$i]."\n";
  }
  if(empty($str)) echo "error\n";
  $file = fopen("./xxx.txt",'a+');
  fwrite($file,$str);
  fclose($file);
}

总结:很多时候我们抓数据的时候都可以很直观的抓取出来,无论是正则还是json,只要页面上有的东西我们都可以获取出来,然后就可以存储或者走自己的逻辑。

最主要的是我们要知道去请求哪个请求,这个请求有多少个参数都是做什么的,get或者post都需要你分析出来然后通过代码的方式来模拟出来。


版权声明:本文为博主原创文章,未经博主允许不得转载。

php爬虫教程(四)抓取数据并进行处理

经过链接的分析,数据的分析,再加上规则的验证。 很容易的我们就get到了我们打算抓取到的数据, so,我们就可以做我们想做的事情了。例如: ...

PHP基础教程二之基本数据类型

本节讲解的内容 php的简单介绍 php的四种标签格式 php的变量 php的基础数据类型...

使用java 爬虫 抓取youtube,youku,facebook 等视频网站的视频数据(请求规则的分析)

最近 使用java爬虫  抓取了公司放在一些视频网站上的视频的指定数据,记录一下抓取规则 腾讯视频:http://c.v.qq.com/vchannelinfo?otype=json...

PHP爬虫 爬取污染数据实例

PHP 爬虫
  • DASlab
  • DASlab
  • 2015年09月19日 21:42
  • 737

python3 网络爬虫(二)利用get请求获取网页的动态加载数据

环境:python3.4 win7 框架:scrapy 接着上一篇,这一次来说说如何获取网页上动态加载的数据: 作为初学者的我们,刚开始接触爬虫一般都只会爬取一些静...

php爬虫:知乎用户数据爬取和分析

转载自:http://segmentfault.com/a/1190000004357994 背景说明:小拽利用php的curl写的爬虫,实验性的爬取了知乎5w用户的基本信息;同时,针对爬取...

php爬虫教程(五)提高爬虫抓取效率

多进程抓取

【php爬虫】百万级别知乎用户数据爬取与分析

代码托管地址:https://github.com/hhqcontinue/zhihuSpider 这次抓取了110万的用户数据,数据分析结果如下:   开发前的准备 ...

PHP爬虫:百万级别知乎用户数据爬取与分析

http://www.techweb.com.cn/network/system/2016-01-22/2266210.shtml 这次抓取了110万的用户数据,数据分析结果如下: 开发前...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:php爬虫教程(二)数据请求分析
举报原因:
原因补充:

(最多只允许输入30个字)