Python爬虫
达瓦里氏吨吨吨
待万事以俱诚。
展开
-
利用Python爬取可用的代理IP
我们平时在用Python爬虫时,有时会要用到IP代理,有时因为IP被封禁导致需要更换IP进行爬取。网上有很多的免费代理IP网站,但不是所有的ip都能用,所以这篇文章教大家如何爬取可用的代理IP。一个免费代理IP网站为例:http://www.xicidaili.com/nn/。但在使用的时候发现很多IP都用不了。所以用Python写了个脚本,该脚本可以把能用的代理IP检测出转载 2017-08-05 16:03:42 · 8670 阅读 · 2 评论 -
为何大量网站不能抓取?爬虫突破封禁的6种常见方法
原文链接:点击打开链接转载 2017-08-05 15:54:31 · 838 阅读 · 0 评论