- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 操作纪录 | 上传代码到github
新工程要上传代码到github，repository已经创建好。 删空本地文件夹将服务器端的repository下载下来再拷贝文件进去上传
2017-10-06 15:56:02
267
原创 linux系统下scrapy爬虫自动筛选代理IP
爬虫往往要用到多个IP切换。而各代理网站的免费IP大多数都是无效的。一个个手工试是不可能的任务，我们就用爬虫来爬，并设置定时任务自动调度执行。文中的工程采用scrapy来写爬虫，使用scrapy_proxies调度使用获取到的IP(用法详见链接中的说明)，定义了crawlall的命令来同时执行所有的爬虫。完整代码：https://github.com/dodolo-cc/proxy
2017-10-06 10:03:26
1043
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人