This is MyC

一个对技术丧失了热情的人不可能成为真正的高手

Python爬虫实践(三)设置Headers

例子:以登录知乎为例

import urllib2
import urllib

values={"username":"XXXX@qq.com","password":"XXXX"}
data=urllib.urlencode(values)
url= "https://www.zhihu.com/#signin"
request=urllib2.Request(url,data)
response=urllib2.urlopen(request)
print response.read()

以上程序运行之后无法登录知乎,错误如下:

    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
HTTPError: HTTP Error 403: Forbidden

出现urllib2.HTTPError: HTTP Error 403: Forbidden错误是由于网站禁止爬虫,可以在请求加上头信息,伪装成浏览器访问.


在登录之后的知乎首页按F12->network,点击第一个请求,查看headers,可看到GeneralResponse HeadersRequest Headers三个分类,有

  • Request URL: https://www.zhihu.com/
  • Request Method:GET
  • User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36

等等参数。

其中,agent就是请求的身份,如果没有写入请求身份,那么服务器不一定会响应,所以可以在headers中设置agent,

import urllib2
import urllib

values={"username":"xxxx","password":"xxxxx"}
data=urllib.urlencode(values)
url= "https://www.zhihu.com/#signin"
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
referer='http://www.zhihu.com/articles'
headers={"User-Agent":user_agent,'Referer':referer}
request=urllib2.Request(url,data,headers)
response=urllib2.urlopen(request)
print response.read()

好吧,知乎好像不行啊,好像有什么反爬虫机制什么的。

算了 降低难度,直接不登录扒一扒自己的博客看看:

import urllib2
import urllib

url= "http://blog.csdn.net/horseinch"
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"
headers={"User-Agent":user_agent}
request=urllib2.Request(url,headers=headers)
response=urllib2.urlopen(request)
print response.read()

运行正常(不加header运行失败)。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/horseinch/article/details/51720630
文章标签: python 爬虫
个人分类: Python
上一篇Python爬虫实践(二):Urllib库的简单使用
下一篇Python爬虫实践(四):一些不常用设置
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭