关闭

[置顶] php爬虫教程(三)规则分析

标签: php脚本爬虫
894人阅读 评论(0) 收藏 举报
分类:

像我之前说的例子就是很简单的抓取例子,当热也有的平台为了防止爬虫抓取数据很做一些请求的验证。

这就需要你对请求头返回头cookie有一定的了解,包括模拟登陆,其实就是在请求的时候记住了cookie,通过cookie就能找到session就可以保持住登录的状态。

先放一下demo:

首先通过分析请求数据我发现 在请求餐厅列表的时候会多出来很多cookie,

而这些cookie的写入地址通过多次的抓包分析都获取过来了

所以我们完全模拟它们的规则去生成正确的cookie

  $client = new client();
  $client->debug(0);
  $client->setCookie('REMOVE_ACT_ALERT',1);//写入第一次cookie验证
  $client->get('http://waimai.xxxx.com/removeActAlert?requestUrl=http%3A%2F%2Fwaimai.meituan.com%2Fhome%2Fwx4gd6wer338');
  $a = $client->getCookies();
  $client->setCookies($a);//写入第二层
  $res = $client->get('http://waimai.xxxx.com/home/'.$k);
  $a = $client->getCookies();
  $client->setCookies($a);//写入第三层

  foreach($arr2 as $kk=>$vv) {
    $page_offset = 1;  // 控制分页
    for ($page = 1; $page <= 20; $page++) {
      $page_offset += 20; // 分页 +20

      $arr = array(
          'classify_type' => $vv,//type
          'sort_type' => '0',
          'price_type' => '0',
          'support_online_pay' => '0',
          'support_invoice' => '0',
          'support_logistic' => '0',
          'page_offset' => $page_offset,//控制分页的参数
          'page_size' => '20'
      );  // 拼接好post需要的数据
      $res = $client->post('http://waimai.xxxx.com/ajax/poilist', $arr);//请求餐厅数据
      $max = json_decode($res, true); // 转化数组

      for ($i = 0; $i < 20; $i++)  // 整理数据

总结:其实无论是什么样的参数只要我们的心思够细,并且不断的请求,实验 都是可以完全模拟出来的。

上面的例子验证是在cookie里 还有的会在header头里做相应的验证,比如添加一个参数,或者验证你的Referer 等等 所有的规则其实都可以模拟出来。

不过有一种,在做模拟登陆的时候那x浪来说,它会把你输入的密码和用户名加密成一个字符串,然后提交出去。这个时候我们就需要了解它们的加密规则

并且把用户名密码加密以后提交出去,理论上来说前端的加密都在JS里 == 很遗憾不是我的强项所以新浪的模拟登陆我还不会。。。

在有一种,就是心跳检测,每秒请求一次服务器 当检测不到心跳的时候就不再给你返回数据 这个时候你就抓不到数据了,所以我们还要相应的模拟出正常的心跳检测。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:38063次
    • 积分:875
    • 等级:
    • 排名:千里之外
    • 原创:49篇
    • 转载:3篇
    • 译文:0篇
    • 评论:22条
    最新评论