php爬虫教程（三）规则分析

像我之前说的例子就是很简单的抓取例子，当热也有的平台为了防止爬虫抓取数据很做一些请求的验证。

这就需要你对请求头返回头cookie有一定的了解，包括模拟登陆，其实就是在请求的时候记住了cookie，通过cookie就能找到session就可以保持住登录的状态。

先放一下demo：

首先通过分析请求数据我发现 在请求餐厅列表的时候会多出来很多cookie，

而这些cookie的写入地址通过多次的抓包分析都获取过来了

所以我们完全模拟它们的规则去生成正确的cookie

  $client = new client();
  $client->debug(0);
  $client->setCookie('REMOVE_ACT_ALERT',1);//写入第一次cookie验证
  $client->get('http://waimai.xxxx.com/removeActAlert?requestUrl=http%3A%2F%2Fwaimai.meituan.com%2Fhome%2Fwx4gd6wer338');
  $a = $client->getCookies();
  $client->setCookies($a);//写入第二层
  $res = $client->get('http://waimai.xxxx.com/home/'.$k);
  $a = $client->getCookies();
  $client->setCookies($a);//写入第三层

  foreach($arr2 as $kk=>$vv) {
    $page_offset = 1;  // 控制分页
    for ($page = 1; $page <= 20; $page++) {
      $page_offset += 20; // 分页 +20

      $arr = array(
          'classify_type' => $vv,//type
          'sort_type' => '0',
          'price_type' => '0',
          'support_online_pay' => '0',
          'support_invoice' => '0',
          'support_logistic' => '0',
          'page_offset' => $page_offset,//控制分页的参数
          'page_size' => '20'
      );  // 拼接好post需要的数据
      $res = $client->post('http://waimai.xxxx.com/ajax/poilist', $arr);//请求餐厅数据
      $max = json_decode($res, true); // 转化数组

      for ($i = 0; $i < 20; $i++)  // 整理数据

总结：其实无论是什么样的参数只要我们的心思够细，并且不断的请求，实验 都是可以完全模拟出来的。

上面的例子验证是在cookie里 还有的会在header头里做相应的验证，比如添加一个参数，或者验证你的Referer 等等 所有的规则其实都可以模拟出来。

不过有一种，在做模拟登陆的时候那x浪来说，它会把你输入的密码和用户名加密成一个字符串，然后提交出去。这个时候我们就需要了解它们的加密规则

并且把用户名密码加密以后提交出去，理论上来说前端的加密都在JS里 ＝＝ 很遗憾不是我的强项所以新浪的模拟登陆我还不会。。。

在有一种，就是心跳检测，每秒请求一次服务器 当检测不到心跳的时候就不再给你返回数据 这个时候你就抓不到数据了，所以我们还要相应的模拟出正常的心跳检测。