怎么改变 python urllib user-Agent

最新推荐文章于 2024-06-24 15:22:35 发布

epic2005

最新推荐文章于 2024-06-24 15:22:35 发布

阅读量2.1k

点赞数

分类专栏： python 文章标签： python windows import linux random .net

python 专栏收录该内容

47 篇文章

订阅专栏

本文介绍了一种在Python中使用urllib库时更改User-Agent的方法。通过定义一系列常见的User-Agent字符串，并利用FancyURLopener类创建自定义的URL打开器，可以随机选择一个User-Agent进行网页请求。

摘要由CSDN通过智能技术生成

怎么改变 python urllib user-Agent:

方法如下：

from urllib import FancyURLopener
from random import choice

user_agents = [
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
    'Opera/9.25 (Windows NT 5.1; U; en)',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
    'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
    'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9'
]

class MyOpener(FancyURLopener, object):
version = choice(user_agents)

myopener = MyOpener()
myopener.retrieve('http://www.useragent.org/', 'useragent.html')