Python爬虫User-Agent汇总（防止反爬）

最新推荐文章于 2024-05-27 22:30:00 发布

进击的小恐龙

最新推荐文章于 2024-05-27 22:30:00 发布

阅读量2.8k

点赞数

分类专栏： python 文章标签： python爬虫

本文链接：https://blog.csdn.net/qq_23286071/article/details/79436116

版权

本文汇总了多种User-Agent，提供以list形式展示，旨在帮助Python爬虫在抓取网页时避免被反爬策略识别。

摘要由CSDN通过智能技术生成

随机选择UserAgent可以在爬虫的时候有效的避免被反爬，下面是汇总的UserAgent并用list的形式展示

USER_AGENTS = [

"'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)'",
"'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)'",
"'Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)'",
"'Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)'",
"'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)'",
"'Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET