爬虫工程师基础，构建User-Agnet代理池

最新推荐文章于 2025-02-14 14:15:57 发布

行动之上

最新推荐文章于 2025-02-14 14:15:57 发布

阅读量993

点赞数

分类专栏： Python网络爬虫从入门到精通文章标签：爬虫 python

本文链接：https://blog.csdn.net/weixin_36643308/article/details/133530155

版权

文章目录

构建User-Agnet代理池
- 自定义UA代理池
- 模块随机获取UA

构建User-Agnet代理池

在编写爬虫程序时，一般都会构建一个 User-Agent （用户代理）池，就是把多个浏览器的 UA 信息放进列表中，然后再从中随机选择。构建用户代理池，能够避免总是使用一个 UA 来访问网站，因为短时间内总使用一个 UA 高频率访问的网站，可能会引起网站的警觉，从而封杀掉 IP

自定义UA代理池

在 Pycharm 工作目录中定义一个 ua_info.py 文件，并将以下 UA 信息以列表的形式粘贴到该文件中

ua_list = [
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
    'User-Agent:Opera/9.80 (Windows NT 6.1; U