mygodit的博客

鉴于爬虫的高效率以及无差别性，在获取一些网站的内容时，会对服务器造成巨大的压力，以至于网站管理者为了保持服务器的平衡，会做一些反爬虫的措施，阻止爬虫的前进。道高一尺魔高一丈。为了应对这些反爬措施，虫子们也有自己的方法。对此，希望能分享一点经验，最主要的是能够做好学习笔记，方便日后的查看。NO.1 添加User-Agent池User-Agent是headers中的一个属性，表示当前访问服务器的...

爬虫的目的就是为了模拟点击浏览器操作的行为，在反反爬策略中，最基础的就是更换User-Agent。User-Agent的作用是方便服务器识别，当前请求对象的身份信息。具体更换操作可以翻阅上一篇反反爬策略。无法从身份属性来识别是否是机器操作，网站服务器只能通过其他信息来辨别，区别机器和正常用户。识别IP访问频率，判断cookie信息，添加验证码操作等都是常见的网站反爬操作。今天，主要学习的就...

前言Crawlspider是在scrapy普通Spider的基础上加入内部获取指定规则链接的功能，能有效提高我们获取页面中指定链接的效率。（咱也没测过效率，咱也不敢问），常用于 翻页，网页链接循环的采集任务。scrapy_splash 是在scrapy框架中用来处理js动态渲染页面的第三方库。使用起来还是挺顺手的。普通scrpy中使用scrpy_splash还是轻轻松松，干干单单的，将每次请...