反爬手段以及应对的方法

反爬手段以及应对的方法

限制IP

限制Cookie

概念

搜狗微信公众号文章的爬取

前言

weixin.sogou.com 是一个反爬极其严厉的站点。ip地址，cookie，验证码都有限制。尤其对cookie的限制
爬取 sogou.weixin.com 的 HTTP 请求的 Cookie 中，必须包含四个参数：SNUID 、SUID、ppinf 和ppmdig。

其中 SNUID 和 SUID 是访问 sogou.weixin.com 必须的，

而 ppinf 和 ppmdig 是访问后十页必须的。

对于禁封 Cookie，主要是禁封参数 SNUID。假如出现了验证码封禁，其实只是给你传送了一个新的参数 SNUID。

解决措施

构造一个 SNUID 参数池，当我们的请求返回的状态码是 302 时，我们就使用一个全新的请求头，这时我们就可以成功突破 Cookie 的封禁。

验证码