【Python3 爬虫学习笔记】基本库的使用 1 —— 使用urllib

一、使用urllib

在Python 2中，有urllib和urllib2两个库来实现请求的发送。而在Python 3中，已经不存在urllib2这个库，统一为urllib。
urllib库是Python内置的HTTP请求库，不需要额外安装，包含如下四个模块：

• request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程。
• error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。
• parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。
• robotparser：主要是用来识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬，它其实用得比较少。

1. 发送请求

使用urllib的request模块，可以方便地实现请求的发送并得到响应。

1.1 urlopen（）

urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证(authenticaton)、重定向(redirection)、浏览器Cookies以及其他内容。

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))

可以查看返回内容。

print(type(response))
#输出结果如下：
<class 'http.client.HTTPResponse'>

调用read()方法可以得到返回的网页内容，调用status属性可以得到返回结果的状态码，如200代表请求成功，404代表网页未找到。

print(response.status)
print(response.getheaders())
print(response.getheader('Server'))

运行结果如下：

可见，前两个输出分别输出了响应的状态码和响应的头信息，最后一个输出通过条用getheader()方法并传递一个参数Server获取了响应头中的Server值，结果是nginx，意思是服务器是用Nginx搭建的。
利用最基本的urlopen()方法，可以完成最基本的简单页面的GET请求抓取。还能更深入的输入一些参数，urlopen()函数的API：

urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)

• data参数
  data参数是可选的。如果要添加该参数，并且如果它是字节流编码格式的内容，即bytes类型，则需要通过bytes()方法转化。另外，如果传递了这个参数，则它的请求方式就不再是GET方式，而是POST方式。
• timeout参数
  timeout参数用于设置超时时间，单位为妙，意思是如果请求超出了设置的这个时间，还没有得到响应，就会抛出异常。如果不指定该参数，就会使用全局默认时间。它支持HTTP、HTTPS、FTP请求。
• 其他参数
  除了data参数和timeout参数外，还有context参数，它必须是ssl.SSLContext类型，用来指定SSL设置。
  此外，cafile和capath这两个参数分别指定CA证书和它的路径，这个请求HTTPS链接时会有用。
  cadefault参数现在已经弃用了，其默认值为False。

1.2 Request

利用urlopen()方法可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。如果请求中需要加入Headers等信息，就可以利用更强大的Request类来构建。
Request的构造方法：

class urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)

• 第一个参数url用于请求URL，这是必传参数，其他都是可选参数。
• 第二个参数data如果要传，必须传bytes（字节流）类型的。如果它是字典，可以先用urllib.parse模块里的urlencode()编码。
• 第三个参数headers是一个字典，它就是请求头，可以在构造请求时通过headers参数直接构造，也可以通过调用请求实例的add_header()方法添加。
  添加请求头最常用的用法就是通过修改User-Agent来伪装浏览器，默认的User-Agent是Python-urllib，我们可以通过修改它来伪装浏览器。比如要伪装火狐浏览器，可以把它设置为：

Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11

• 第四个参数origin_req_host指的是请求方的host名称或者IP地址。
• 第五个参数unverifiable表示这个请求是否是无法验证的，默认是Flase，意思就是说用户没有足够权限来选择接收这个请求的结果。例如，我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，这时unverifiable的值就是True。
• 第六个参数method是一个字符串，用来指示请求使用的方法，比如GET、POST和PUT等。

传入多个参数构建请求的例子：

from urllib import request,parse

url = 'http://httpbin.org/post'
headers = {
	'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
	'Host':'httpbin.org'
}
dict = {'name':'Germey'}
data = bytes(parse.urlencode(dict),encoding='utf8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

通过4个参数构建了一个请求，其中url即请求URL，headers中指定了User-Agent和Host，参数data用urlencode()和bytes()方法转成字节流。另外，指定了请求方式为POST。
运行结果如下：

另外，headers也可以用add_header()方法来添加：

req = request.Request(url=url,data=data,method='POST')
req.add_header('User-Agent','Mozilla/4.0 (compatible;MSIE 5.5;Windows NT)')