整个大活，采集8个代理IP站点，为Python代理池铺路，爬虫120例之第15例

梦想橡皮擦

于 2021-07-28 10:05:36 发布

阅读量1.9w

点赞数 62

分类专栏： Python爬虫120 文章标签： python 列表 xpath Python爬虫爬虫

梦想橡皮擦-独家版权，禁止转载

本文链接：https://blog.csdn.net/hihell/article/details/119137580

版权

141 篇文章 501 订阅 ¥99.90 ¥99.00

订阅专栏

很多爬虫大佬都会建立自己的，IP 代理池，你想知道 IP 代理池是如何创建的吗？
如果你恰巧有此需求，欢迎阅读本文。

本案例为爬虫 120 例专栏中的一例，顾使用 requests + lxml 进行实现。

代理 IP 目标网站之一为：https://www.89ip.cn/index_1.html，首先编写随机返回 User-Agent 的函数，也可以将该函数的返回值设置为请求头，即 headers 参数。

def get_headers():
    uas = [
        "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

了解本专栏

关注

专栏目录