Python爬虫:基于MySQL的个人ip代理池(ip pool)的搭建
Python爬虫:基于MySQL的个人ip代理池(ip pool)的搭建
使用到的部分技术:Python bs4,MySQL数据库
开发环境:PyCharm 2019.2.4
第一部分:从指定网址爬取相关ip
这里选定的是西拉代理,个人试过爬取其他代理网站的公开代理ip,要不就是质量不高,一千个ip中基本只有几个能用的,并且有的网站如http://www.goubanjia.com/公开代理ip的table标签还设定了反爬机制,要不就是连http/https或者是否高匿的类型都不给,效率太低。首先需要确保自
原创
2021-05-04 14:10:26 ·
5122 阅读 ·
0 评论