【爬虫】之 反爬与反反爬

常见反爬技术

• 1.数据头Headers  “User-Agent“反爬虫机制解析，用来判断是否是浏览器访问。
• 2.根据IP访问频率来封禁IP。
• 3.访问次数过多，弹出验证码、拼图等验证方式。
• 4.动态返回数据（ajax、json）。
• 5.在响应数据页面之前，先返回一段带有JavaScript 代码的页面，用于验证访问者有无 JavaScript 的执行环境，以确定使用的是不是浏览器。
• 6.要求必须登录账号才能访问，并且登录时间超限自动登出，或者进行封号处理。
• 7.限制API访问，或者限制API访问次数。
• 8.蜜罐：检测到是爬虫后，返回虚假信息。
• 9.动态生成url，例如：动态生成key值或timestamp或sign。

反反爬技术

• 1.请求页面时加上headers数据，并且最好使用多个userAgent。
• 2.使用IP代理，设置访问频率。
• 3.python+tesseract 验证码识别库模拟训练，或使用类似 tor 匿名中间件（广度遍历IP）
• 4.用 Firebug 或者 HttpFox 对网络请求进行分析。
• 5.采用 selenium+phantomJS 框架的方式进行爬取。
• 6.使用webdriver控制浏览器进行数据采集。