python爬虫学习第二课之基础库urllib的使用

Urllib库的使用

1.安装 pip install urllib

2.发出请求

2.1urlopen()

urllib.request 模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的请求发起过程，并获Resonse,下面以python官网为例，发出请求并urlopen获取响应。输出结果则是该网站首页的源代码，类型为HTTPResponse对象,还可以通过调用status属性等获取状态码以及其他信息

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))
print(response.status)
print(response.getheaders())

data参数，data 参数是可选的，如果要添加 data，它要是字节流编码格式的内容，即 bytes 类型，通过 bytes() 方法可以进行转化，另外如果传递了这个 data 参数，它的请求方式就不再是 GET 方式请求，而是 POST。

import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data， timeout=1)
print(response.read())

这里传递了一个参数word，值为hello。它需要被转码成bytes（字节流）类型。其中转字节流采用了 bytes() 方法，第一个参数需要是 str（字符串）类型，需要用 urllib.parse 模块里的 urlencode() 方法来将参数字典转化为字符串。第二个参数指定编码格式，在这里指定为 utf8。

timeout 参数可以设置超时时间，单位为秒，意思就是如果请求超出了设置的这个时间还没有得到响应，就会抛出异常，如果不指定，就会使用全局默认时间。它支持 HTTP、HTTPS、FTP 请求。

2.2Request

上述论述中我们直接使用urlopen(）实现最基本的请求，但如果需要构建更复杂的请求则需要更强大的Request类，我们可以通过Request构建一个复杂的请求，再通过urlopen()完成请求与获取响应。

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

上面是Request类的构造函数，其中参数包括:

第一，必选参数url,这个你懂的

第二，可选参数data，用于发出POST类型的请求

第三，可选参数headers，Request Headers 最常用的用法就是通过修改 User-Agent 来伪装浏览器，默认的 User-Agent 是 Python-urllib，我们可以通过修改它来伪装浏览器，比如要伪装火狐浏览器，你可以把它设置为：

Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11

下面我们构建一个包含url，data，headers参数的Request

​
from urllib import request, parse

url = 'http://httpbin.org/post'
headers = {
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
    'Host': 'httpbin.org'
}
dict = {
    'name': 'Germey'
}
data = bytes(parse.urlencode(dict), encoding='utf8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

​