爬虫常用User-Agent的整理，方便使用。

最新推荐文章于 2024-07-07 17:33:53 发布
最新推荐文章于 2024-07-07 17:33:53 发布
阅读量2.3k 收藏 7
点赞数 1
分类专栏： 技术分享 文章标签： python 数据挖掘 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40974572/article/details/108572965
版权 
用户代理池（user-agent）设置
UAPOOL = ["Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0",
          "Mozilla/5.0 (Android; Tablet; rv:14.0) Gecko/14.0 Firefox/14.0",
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0",
          "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:21.0) Gecko/20130331 Firefox/21.0",
          "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0",
          "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19",
          "Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19",
          "Mozilla/5.0 (Linux; Android 4.1.2; Nexus 7 Build/JZ054K) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19",
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36",
          "Mozilla/5.0 (compatible; WOW64; MSIE 10.0; Windows NT 6.2)",
          "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
          "Opera/9.80 (Windows NT 6.1; WOW64; U; en) Presto/2.10.229 Version/11.62"]

 

博客整理1：

1.iOS

NameUser Agent
iPadMozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3
iPhoneMozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3
iPodMozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/3A101a Safari/419.3

2.Windows Phone

NameUser Agent
Windows Phone 7Mozilla/4.0 (compatible; MSIE 7.0; Windows Phone OS 7.0; Trident/3.1; IEMobile/7.0; LG; GW910)
Windows Phone 7.5Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; SAMSUNG; SGH-i917)
Windows Phone 8Mozilla/5.0 (compatible; MSIE 10.0; Windows Phone 8.0; Trident/6.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 920)

3.Spider / Bot

NameUser Agent
BingBot (Bing's spider)Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Googlebot (Google's spider)Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Slurp! (Yahoo's spider)Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

4.Safari

NameUser Agent
Safari on MacMozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; en-US) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
Safari on WindowsMozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
Safari on iPadMozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3
Safari on iPhoneMozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3

5.Opera

NameUser Agent
Opera on MacOpera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.9.168 Version/11.52
Opera on WindowsOpera/9.80 (Windows NT 6.1; WOW64; U; en) Presto/2.10.229 Version/11.62

6.Internet Explorer

NameUser Agent
Internet Explorer 6Mozilla/4.0 (Windows; MSIE 6.0; Windows NT 5.2)
Internet Explorer 7Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
Internet Explorer 8Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
Internet Explorer 9Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)
Internet Explorer 10Mozilla/5.0 (compatible; WOW64; MSIE 10.0; Windows NT 6.2)

7.Google Chrome

NameUser Agent
Chrome on Android MobileMozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19
Chrome on Android TabletMozilla/5.0 (Linux; Android 4.1.2; Nexus 7 Build/JZ054K) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19
Chrome on MacMozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36
Chrome on UbuntuMozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.11 (KHTML, like Gecko) Ubuntu/11.10 Chromium/27.0.1453.93 Chrome/27.0.1453.93 Safari/537.36
Chrome on WindowsMozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36
Chrome on iPhoneMozilla/5.0 (iPhone; CPU iPhone OS 6_1_4 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) CriOS/27.0.1453.10 Mobile/10B350 Safari/8536.25

8.Firefox

NameUser Agent
Firefox on Android MobileMozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0
Firefox on Android TabletMozilla/5.0 (Android; Tablet; rv:14.0) Gecko/14.0 Firefox/14.0
Firefox on MacMozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0
Firefox on UbuntuMozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:21.0) Gecko/20130331 Firefox/21.0
Firefox on WindowsMozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0

9.博客整理2

user_agent = [
    'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;AvantBrowser)',
    'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;360SE)',
    'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;SE2.XMetaSr1.0;SE2.XMetaSr1.0;.NETCLR2.0.50727;SE2.XMetaSr1.0)',
    'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;TheWorld)',
    'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;TencentTraveler4.0)',
    'Opera/9.80(Macintosh;IntelMacOSX10.6.8;U;en)Presto/2.8.131Version/11.11',
    'Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1',
    'Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)',
    'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36',
    'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52"]

来源1：https://www.cnblogs.com/VAllen/articles/UserAgentList.html，

来源2：https://blog.csdn.net/qq_42988748/article/details/83184160。

Poplar008
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Nginx中配置过滤爬虫的User-Agent的简单方法
09-30
本文将详细介绍如何通过Nginx配置文件实现这一功能，并提供一些常见的搜索引擎爬虫User-Agent字符串，以便避免误封合法爬虫。 首先，你需要访问你的Nginx配置文件，通常位于`/etc/nginx/nginx.conf`或`/etc/nginx/...
爬虫篇——User-Agent爬取备用及存储
12-21
总结来说，本篇文章提供的爬虫代码主要关注于获取和验证User-Agent，以及将其存储为可重复使用的资源。这种方法有助于提高爬虫的生存能力，使其在面对反爬策略时能更好地伪装自身，避免被封禁。同时，通过将User-...
User-Agent作用
分享Android开发知识
06-17 2188
一、作用 User-Agent是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识，例如：
Windows/Android/iOS 等常见 User-Agent 大全
BOB'S BLOG
08-22 1万+
User Agent 中文名为用户代理，简称 UA，是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。Python 爬虫通过伪装 UA 可以绕过某些检测。 以下为搜集的常见的各浏览器的 User-Agent，其中： 安卓操作系统：Android 7.1.1；OPPO R9sk Build/NMF26F PC操作...
[SWPUCTF 2021 新生赛]Do_you_know_http(User-Agent和X-Forwarded-For)
最新发布
2401_84499442的博客
07-07 155
首先，网页提示我们用WLLM浏览器，那么这里我们就应该想到抓包，然后修改里面的User-Agent参数。看到这里，我们就应该想到修改IP为本地IP，那么这里要了解一个知识点：X-Forwarded-For。这里应该就是我们发送的包被拦截，然后显示的那个IP是某个代理的IP，这里我们添加自己的IP。然后送到repeater里面，方便我们重复操作，修改UA伪WLLM，那么我们就进入a.php里面。关于User-Agent。
爬虫：什么是User-Agent？有什么作用
panjunxiao的博客
10-10 9134
User-Agent其实就是你的浏览器信息。是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计； 　　在爬取网页的时候经常换浏览器就会降低被封的概率。也就是要改变User-Agent的值。 生成随机的User-Agent： 首先　在环境中　ｐｉｐ　　ｉｎｓｔａｌｌ　fa...
User Agent 解析：它是什么以及工作原理
dongdonglin77的博客
04-26 1934
UserAgent，简称UA，是一个使服务器能够识别用户使用的浏览器类型、版本以及运行浏览器的操作系统等信息的字符串。它作为浏览器请求头部信息的一部分发送给服务器，以便服务器可以返回合适格式和版本的内容。跟Cookie一样，网站可以根据浏览器的User Agent为用户提供个性化的体验，比如：正确显示网页：确保无论你用手机还是电脑访问，网页都能正常显示。个性化体验：如果某些特效在手机上不起作用，在电脑上却可以，那么网站可以根据UserAgent调整这些功能。
User-Agent（用户代理）是什么？
宇宙超粒终端控制中心的博客
01-15 2340
User-Agent 即用户代理，简称“UA”，它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。网络爬虫使用程序代码来访问网站，而非人类亲自点击访问，因此爬虫程序也被称为“网络机器人”。绝大多数网站都具备一定的反爬能力，禁止网爬虫大量地访问网站，以免给网站服务器带来压力。这里要学习的 User-Agent 就是反爬策略的第一步。
2024最新设备python爬虫十万条UA User-Agent信息浏览器头信息包括手机
06-05
2024最新设备python爬虫十万条UA User-Agent信息浏览器头信息包括手机
App端user-agent请求头大全，几千个ua
10-15
1. **爬虫开发**：通过分析不同的User-Agent，可以模拟各种浏览器或移动设备进行网页抓取，提高爬虫的隐蔽性和兼容性。 2. **服务器响应**：服务器可以根据不同的User-Agent提供定制化的页面内容或优化资源加载。 3....
爬虫User-Agent-List
11-12
编写Python爬虫时，使用的User-Agent，该资源包含各浏览器及Android, iOS的User-Agent
什么是UserAgent以及使用浏览器查看UserAgent的方法
weixin_44074100的博客
04-04 4257
一、什么是UserAgent User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。 常常要用server抓资料时，都会碰到直接使用wget和curl被服务器拒绝的状况。通常简单加个user-agent伪装一下就会过了。 二、浏览器查看UserAgent的方法 1、通...
User-Agent大全
Used the same
09-30 9039
一、基础知识篇： Http Header之User-Agent User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和电脑访问是不一样的，这些是谷歌根据访问者的 UA来判断的。UA可以进行伪装。 浏览器的UA字串的标准格...
User Agent 用户代理
qq_39414590的博客
11-16 760
window.navigator.userAgent 1) Chrome Win7: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1 2) Firefox Win7: Mozilla/5.0 (Windows NT 6.1; ...
Python爬虫：常用的浏览器请求头User-Agent
彭世瑜的博客
05-03 4万+
user_agent = [ “Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”, “Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) A...
时下流行的浏览器User-Agent大全
热门推荐
肥宝的实验室
03-10 10万+
一、基础知识篇： HttpHeader之User-Agent UserAgent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，UserAgent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和
常见浏览器User-Agent大全
learningITwell的专栏
12-19 6861
浏览器User-Agent
网络爬虫的User-Agent和Proxy
spy_h的博客
06-07 3528
转载自：https://blog.csdn.net/u012195214/article/details/78889602&http://blog.csdn.net/c406495762/article/details/60137956一，User-Agent是什么    有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了...
随机请求User-Agent
qq_21138051的博客
11-07 432
fake-useragent python安装 pip install fake-useragent 使用方法： from fake_useragent import UserAgent ua = UserAgent() ua.ie # Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US); ua.msie # Mozil...
python爬虫伪装user-agent
06-28
### 回答1： 在Python爬虫中，可以通过伪装User-Agent来隐藏爬虫的真实身份，避免被网站封禁。User-Agent是HTTP请求头的一部分，用于描述客户端的类型、操作系统、浏览器等信息。一些网站会根据User-Agent来识别客户端的真实身份，所以我们可以通过修改User-Agent来达到伪装的目的。 在Python中，可以使用第三方库如Requests、urllib等来发送HTTP请求，并通过设置headers参数来伪装User-Agent。具体来说，我们可以在headers中设置User-Agent字段，例如： ``` import requests url = 'http://example.com' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36' } response = requests.get(url, headers=headers) ``` 在上述代码中，我们设置了User-Agent为Chrome浏览器的信息，这样就可以伪装成浏览器发送HTTP请求，而不是Python爬虫发送的请求。当然，为了避免被网站封禁，我们需要经常更新User-Agent，同时也要注意不要过于频繁地发送请求，以免被识别为爬虫。 ### 回答2： Python爬虫伪装User-Agent指的是开发者在编写Python代码的过程中，将User-Agent设置为浏览器端的User-Agent，从而避免服务器端针对爬虫进行封禁或者限制访问。 User-Agent是HTTP请求的头部信息之一，用于告知服务器客户端正在使用的浏览器和操作系统的情况。由于爬虫使用的请求头往往与常规浏览器的请求头不同，因此服务器可能会对其进行限制、封禁甚至是先后回应。 为了避免这种情况，我们可以在代码中设置一个随机的User-Agent。Python中有许多第三方库提供了User-Agent，比如fake_useragent、user_agents等。这些库可以生成一个随机的User-Agent，让服务器无法将其与爬虫识别出来。 另外，我们也可以手动编写每个请求的User-Agent，使其更加随机和多变。在编写代码时，我们可以将User-Agent列表存储到文件中，然后在每次请求时随机选择一个User-Agent，使得每个请求使用的User-Agent都不相同。 需要注意的是，虽然伪装User-Agent可以一定程度上避免被服务器封禁，但过于频繁的访问依然可能被服务器识别为爬虫行为。因此，建议在爬虫程序中加入适当的延时和限制访问次数的机制，以避免被反爬虫机制限制。 ### 回答3： 为了更好地伪装自己的爬虫程序，我们需要理解什么是 User-Agent。User-Agent 是一种 HTTP 请求头部信息，用于描述用户代理的一些信息，包括操作系统、浏览器类型、版本等等。在爬虫请求时，服务器通过 User-Agent 来判断请求是否来自浏览器。因此，如果我们的爬虫请求头中不带 User-Agent 或者 User-Agent 显然是一个机器人，那爬虫很可能会被服务器封禁。 通过 Python 爬虫伪装 User-Agent 的方法有很多种，以下是一些常用的方法： - 使用 fake-useragent：fake-useragent 是一个第三方库，可以自动生成随机 User-Agent，使用方法非常简单。 - 使用 requests 库自定义 headers：这种方法的灵活度比较高，可以自定义 User-Agent，还可以添加其他自定义信息。 - 使用 random.choice() 函数随机选择 User-Agents：可以通过准备好多个 User-Agent 列表，然后随机选择一个 User-Agent。 参考下面代码： ``` import requests import random # 使用fake_useragent库来设置User-Agent from fake_useragent import UserAgent # 使用random.choice随机选择User-Agent UserAgents = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36", ] # 设置随机User-Agent headers = { 'User-Agent': random.choice(UserAgents) } # 或使用fake-useragent库来生成User-Agent headers = { 'User-Agent': UserAgent().random } # 执行请求 response = requests.get(url, headers=headers) ``` 总之，为了避免被服务器封禁，我们需要用一些方法伪装自己的 User-Agent，使其看起来更像是来自浏览器的请求。当然，我们也需要注意不要伪装得过于真实，否则过多的请求可能会对目标网站造成负面影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值