# encoding:utf-8
import urllib
import urllib2
# 请求
url = 'https://www.zhihu.com/#signin'
'''
但是有时候服务器会检查请求头,判断是否来自浏览器的访问,这是反爬虫的常用手段
这时候需要对程序作出修改——增添请求头信息
'''
# 加上请求头信息,设置请求头中的User-Agent域和Referer域信息,Referer是为了判断你是从哪个链接找到我这个URL的
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'https://www.zhihu.com/'
postdata = {
'username':'lin',
'password':'abc123'
}
# 将user_agent, referer写入头信息中
'''
headers = {
'User-Agent': user_agent, 'Referer': referer
}
'''
# 转换请求头格式
data = urllib.urlencode(postdata)
# req = urllib2.Request(url, data, headers)
req = urllib2.Request(url)
# 还可以通过add_header添加请求头信息
req.add_header('User-Agent', user_agent)
req.add_header('Referer', referer)
req.add_data(data)
# 响应
response = urllib2.urlopen(req)
# 输出
html = response.read()
print html
Python爬虫开发-03--使用headers爬取网页的简单模型
最新推荐文章于 2024-05-09 19:02:21 发布