有些的网站实现一些特定的机制,以一些手段来避免被爬取,那么作为攻城狮的我们就需要和这些做斗争,,下面就要介绍一些技巧,来破解他们这些技术
攻城狮技巧一:
使用user agent池,轮流选择之一作为user agent 。池中包含常见的浏览器user agent (网上有很多的 亲)
攻城狮技巧二:
禁止cookies ,有些站点会使用cookies来发现爬虫的轨迹
攻城狮技巧三:
设置下载延迟,2或是更高,参考 DOWNLOAD_DELAY A设置
攻城狮技巧四:
如果可行的话 可以使用Google cache 来爬取数据,而不是直接的访问站点
攻城狮技巧五:
使用IP池,例如免费的Tor项目,或者是付费的服务
攻城狮技巧六:
使用高度分布式的下载器来绕过ban,您只要专注的分析页面