爬虫学习
yubaibusan
这个作者很懒,什么都没留下…
展开
-
利用爬虫构建IP代理池
准备工作, 安装好我们所要使用到的包.# 用于连接MongoDB数据库的包,要事先安装好MongoDB数据库pip install pymongo# 用于发送请求的包pip install requests# 用于解析HTML文档,提取我们想要的内容pip install lxml源代码(注:免费的代理ip通常不够稳定,偶尔测试使用一下还可以,但常用代理ip还是付费的比较稳...原创 2019-09-16 22:59:02 · 492 阅读 · 0 评论 -
利用爬虫提高博客访问量
上篇文章我们实现了如何构建自己的IP代理池, 现在我们使用这个代理池来对博客进行访问,提高博客访问量.(注:如果随机出来的代理IP阵亡了话,那不用说访问肯定失败了)源代码:import randomimport threadingimport timeimport requestsfrom pymongo import MongoClientimport my_fake_user...原创 2019-09-16 23:12:56 · 317 阅读 · 0 评论