- 博客(1)
- 资源 (6)
- 收藏
- 关注
原创 Python 爬虫之使用代理ip
我们在爬取数据的时候有可能会出现爬到一半就不动了,有可能是因为目标网站封了你的ip,因为程序的运行是非常快的,人为的访问速度没有那么快,所以会被封,所谓道高一尺魔高一丈,我们可以有多种方法可以避免这种问题 第一种: 降低访问速度,我们可以使用time模块中的sleep,使程序每运行一次后就睡眠1s,这样的话就可以大大的减少ip被封的几率 第二种: 为了提高效率,我们可以使用代理ip来解决,
2018-01-06 10:56:50 1041
selenium需要用的PhantomJs+Chromedriver
Selenium [1] 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。
2018-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人