![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
文章平均质量分 75
lujinjiexd
这个作者很懒,什么都没留下…
展开
-
如何让你的scrapy爬虫不再被ban
根据scrapy官方文档: http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned里面的描述,要防止scrapy被ban,主要有以下几个策略。 动态设置user agent禁用cookies设置延迟下载使用 Google cache 使用IP地址池( Tor project、VPN转载 2017-01-13 11:31:01 · 807 阅读 · 0 评论 -
scrapy爬虫代理——利用crawlera神器,无需再寻找代理IP
一、crawlera平台注册 首先申明,注册是免费的,使用的话除了一些特殊定制外都是free的。 1、登录其网站 https://dash.scrapinghub.com/account/signup/ 填写用户名、密码、邮箱,注册一个crawlera账号并激活 2、创建Organizations,然后添加crawlear服务 然后点击转载 2017-01-13 11:44:38 · 4060 阅读 · 0 评论