设置用户代理User Agent访问网页(Python2.7)

点此查看全部文字教程、视频教程、源代码

1. 概念

User Agent用户代理，是一个标志，供服务端识别客户端的操作系统和浏览器情况。

比如，如果想判断访问网站的浏览器是否是微信浏览器，就可以判断用户代理，来实现网页仅能从微信自带浏览器访问。

另外，如果使用urllib2默认的代理字符串，可能会被某些网站屏蔽（不想被通过代码访问）。

2. 在python中设置代理

代码如下：

#!/usr/bin/python2.7
# coding=UTF-8
import urllib2

#变量区域
url="http://www.baidu.com/"#待下载的网址

#方法区域
def downloadWebsite(url,retry_time=5,user_agent="temp"):
    print("start to download："+url+",the retry time is:"+str(retry_time))
    header={"User-Agent:":user_agent}
    request=urllib2.Request(url,headers=header)
    try:
        result=urllib2.urlopen(url).read()
    except urllib2.URLError as ex:
        if retry_time==1:
            return "download error,the reason is:"+ex.reason+",error code"+str(ex.code)
        else:
            return downloadWebsite(url,retry_time-1)
    return result

result=downloadWebsite(url)
print(result)

3. 更多设置

下面是一个通过Firefox浏览器查看的请求头情况，可见Linux和Firefox字样。根据上面的代码header={"User-Agent:":user_agent} request=urllib2.Request(url,headers=header)，我们应该可以修改其他请求头的信息。