- 博客(1)
- 收藏
- 关注
原创 python爬虫之抓取代理服务器IP 并筛选可用稳定的ip
***前言:***作为一名爬手,爬取各大网站资源,经常会遇到的额问题就是ip访问过于频繁,被网站封ip,影响爬取工作。 解决方法一为:用sleep函数,设置爬取频率,但是缺点就是慢,尤其对于大量的数据获取不合适。 解决的另一方法就是代理ip,用匿名ip爬取资源。 但是目前网络上免费的可用代理ip特别不稳定,难以直接使用。 本篇文章便是解决ip不稳定,不可用,的一种简单小方法。 配置:python2...
2018-09-26 19:35:43
1470
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人