php爬虫教程(三)规则分析

原创 2016年08月30日 15:52:48

像我之前说的例子就是很简单的抓取例子,当热也有的平台为了防止爬虫抓取数据很做一些请求的验证。

这就需要你对请求头返回头cookie有一定的了解,包括模拟登陆,其实就是在请求的时候记住了cookie,通过cookie就能找到session就可以保持住登录的状态。

先放一下demo:

首先通过分析请求数据我发现 在请求餐厅列表的时候会多出来很多cookie,

而这些cookie的写入地址通过多次的抓包分析都获取过来了

所以我们完全模拟它们的规则去生成正确的cookie

  $client = new client();
  $client->debug(0);
  $client->setCookie('REMOVE_ACT_ALERT',1);//写入第一次cookie验证
  $client->get('http://waimai.xxxx.com/removeActAlert?requestUrl=http%3A%2F%2Fwaimai.meituan.com%2Fhome%2Fwx4gd6wer338');
  $a = $client->getCookies();
  $client->setCookies($a);//写入第二层
  $res = $client->get('http://waimai.xxxx.com/home/'.$k);
  $a = $client->getCookies();
  $client->setCookies($a);//写入第三层

  foreach($arr2 as $kk=>$vv) {
    $page_offset = 1;  // 控制分页
    for ($page = 1; $page <= 20; $page++) {
      $page_offset += 20; // 分页 +20

      $arr = array(
          'classify_type' => $vv,//type
          'sort_type' => '0',
          'price_type' => '0',
          'support_online_pay' => '0',
          'support_invoice' => '0',
          'support_logistic' => '0',
          'page_offset' => $page_offset,//控制分页的参数
          'page_size' => '20'
      );  // 拼接好post需要的数据
      $res = $client->post('http://waimai.xxxx.com/ajax/poilist', $arr);//请求餐厅数据
      $max = json_decode($res, true); // 转化数组

      for ($i = 0; $i < 20; $i++)  // 整理数据

总结:其实无论是什么样的参数只要我们的心思够细,并且不断的请求,实验 都是可以完全模拟出来的。

上面的例子验证是在cookie里 还有的会在header头里做相应的验证,比如添加一个参数,或者验证你的Referer 等等 所有的规则其实都可以模拟出来。

不过有一种,在做模拟登陆的时候那x浪来说,它会把你输入的密码和用户名加密成一个字符串,然后提交出去。这个时候我们就需要了解它们的加密规则

并且把用户名密码加密以后提交出去,理论上来说前端的加密都在JS里 == 很遗憾不是我的强项所以新浪的模拟登陆我还不会。。。

在有一种,就是心跳检测,每秒请求一次服务器 当检测不到心跳的时候就不再给你返回数据 这个时候你就抓不到数据了,所以我们还要相应的模拟出正常的心跳检测。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

php爬虫教程(五)提高爬虫抓取效率

多进程抓取

PHP实现的一个简单的爬虫

这个小爬虫的功能是抓取目标网页的url,并实现递归爬。这个小demo是参照网友的代码然后自己改了一下,由于网上版本太多,我就不@原来的作者了(我不知道谁才是真正的作者)下面是代码:...

php爬虫教程(四)抓取数据并进行处理

经过链接的分析,数据的分析,再加上规则的验证。 很容易的我们就get到了我们打算抓取到的数据, so,我们就可以做我们想做的事情了。例如: ...

使用java 爬虫 抓取youtube,youku,facebook 等视频网站的视频数据(请求规则的分析)

最近 使用java爬虫  抓取了公司放在一些视频网站上的视频的指定数据,记录一下抓取规则 腾讯视频:http://c.v.qq.com/vchannelinfo?otype=json...

yii2.0验证规则源码分析&php正则使用

之前两天在极客头条上看了一篇帖子,最严谨的校验email地址的正则表达式 ,最近接手的最多的就是yii2.0框架,所以很好奇想看看yii2.0是怎么实现验证规则。 首先,一般在自定义的继承model...

php爬虫:知乎用户数据爬取和分析

转载自:http://segmentfault.com/a/1190000004357994 背景说明:小拽利用php的curl写的爬虫,实验性的爬取了知乎5w用户的基本信息;同时,针对爬取...

【php爬虫】百万级别知乎用户数据爬取与分析

代码托管地址:https://github.com/hhqcontinue/zhihuSpider 这次抓取了110万的用户数据,数据分析结果如下:   开发前的准备 ...

PHP爬虫:百万级别知乎用户数据爬取与分析

http://www.techweb.com.cn/network/system/2016-01-22/2266210.shtml 这次抓取了110万的用户数据,数据分析结果如下: 开发前...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:php爬虫教程(三)规则分析
举报原因:
原因补充:

(最多只允许输入30个字)