爬虫学习记录（二）

设置Headers

其实对于许多网站都是有反爬虫机制的，如果直接用之前的程序进行访问，可能站点直接就不会响应，不如爬取糗事百科的时候，代码如下：

#coding:utf-8
from urllib.request import urlopen
from urllib.request import Request

html = 'http://www.qiushibaike.com/hot/page/1'
request = Request(html)
response = urlopen(request)
print(response.read())

不出意外的报错了，但是若我们模拟浏览器来访问时就不会，如何来模拟浏览器来访问呢，那么需要设置一下Headers的属性。
首先，打开自己使用的浏览器（Chrome），然后按F12，打开网络监听

然后点击Network，这里就可以看到访问网页时的许许多多的请求，

然后随便点一条请求来看,就可以看到Request URL，还有headers，下面还有请求的
agent（请求的身份）。
如果没有写入请求身份,那么服务器不一定会响应,所以可以在 headers中设置agent，
，然后再构建request时传入,服务器若识别了是浏览器发来的请求，就会得到响应，
代码如下：

#coding:utf-8
from urllib.request import urlopen
from urllib.request import Request

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' \
             'AppleWebKit/537.36 (KHTML, like Gecko)' \
             ' Chrome/54.0.2840.99 Safari/537.36'
headers = {'User-Agent':user_agent}
html = 'http://www.qiushibaike.com/hot/page/1'
request = Request(html,headers = headers)
response = urlopen(request)
print(response.read().decode('utf-8'))

还有一些headers的另外一些属性需要注意一下

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。
application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用
application/json ： 在 JSON RPC 调用时使用
application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用
在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务