python-网络爬虫初学二:headers的设置和一些高级特性

一、设置headers

url = "http://www.server.com/login"
# 设置请求的身份，如果没有，服务器可能会没有响应
user_agent = "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"
values = {"username": "geek", "password": "**********"}
# 在headers中设置agent
headers = {"User-Agent": user_agent}
data = urllib.urlencode(values)
# 在request中添加headers
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
page = response.read()

二、对付“反盗链”

# 对付“反盗链”(服务器会识别headers中的referer是不是它自己,如果不是则不响应),构建以下headers
headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)",
           "Referer": "http://www.zhihu.com/articles"}

三、headers的一些其他属性

# headers的一些其他属性：
# User-Agent : 有些服务器或 Proxy 会