python爬虫随机获取User-Agent

刚刚学习Python爬虫的小伙伴们应该面临反爬问题，那么初步解决办法除了代理ip还有就是随机生成UA

今天给大家推荐两种随机生成UA的方法，废话不多说了，直接上代码

第一种：

1.导入random模块 ：

import random

2.定义一个列表 存放UA,(来源：网上查找，可以去github上查）

list = [{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20130405 Firefox/22.0'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:14.0) Gecko/20100101 Firefox/18.0.1'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20130331 Firefox/21.0'}
]

3.使用random.choice(list)随机获取列表中的一个UA

headers = {'User-Agent':random.choice(list)}

第二种

调用python中的模块，useragent

1.安装fake-useragent

pip install fake-useragent

2.导包

# from fake_useragent import UserAgent
# import random
#
# ua = UserAgent()
# headers = {'User-Agent':ua.random}
# print(headers)