Python爬虫之urllib库中的request

Request

我们知道利用urlopen( )方法可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。如果请求中需要加入Headers等信息，就可以利用更强大的Request类来构建。

首先，我们用实例来感受一下Request的用法：

代码示例

可以发现，我们依然是用urlopen( )方法来发送这个请求，只不过这次该方法的参数不再是URL，而是一个Request类型的对象。通过构造这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可更加丰富和灵活地配置参数。

下面我们看一下Request可以通过怎样的参数来构造，它的构造方法如下：

class urllib.request.Request(url, data=None, headers={ }, origin_req_host=None,unverifiable=False, method=None)

第一个参数url用于请求URL，这是必传参数，其他都是可选参数。

第二个参数data如果要传，必须传bytes（字节流）类型的。如果它是字典，可以先用urllib.parse模块利得urlencode( )编码。

第三个参数headers是一个字典，它就是请求头，我们可以在构造请求时通过headers参数直接构造，也可以通过调用请求示例的add_header( )方法添加。添加请求头最常用的用法就是通过修改User-Agent来伪装浏览器。比如要伪装火狐浏览器，我们可以把它设置为：

Mozilla/5.0(X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11

第四个参数origin_req_host指的是请求方的host名称或者IP地址。

第五个参数unverifiable表示这个请求是无法验证的，默认是False，意思就是说用户没有足够的权限来选择接收这个请求的结果。例如，我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，这时unverifiable的值就是True。最后，如果你的时间不是很紧张，并且又想快速的python提高，最重要的是不怕吃苦，建议你可以架微♥信：762459510 ，那个真的很不错，很多人进步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~

第六个参数method是一个字符串，用来指示请求使用的方法，比如GET、POST和PUT等。

下面我们传入多个参数构建请求来看一下：

代码

我们通过四个参数构造了一个请求，其中url即请求URL，headers中指定了User-Agent和Host，参数data用urlencode( )和bytes( )方法转成字节流。另外，指定了请求方式为POST。

运行结果如下：

结果示例

高级用法

在上面的过程中，我们虽然可以构造请求，但是对于一些更高级的操作（比如Cookies处理、代理设置等），我们该怎么办呢？

接下来，就需要更强大的工具Handler登场了。简而言之。我们可以把它理解为各种处理器，有专门处理登录验证的，有处理Cookies的，有处理代理设置的。利用它们，我们几乎可以做到HTTP请求中的所有事情。

首先，介绍一下urllib.request模块里的BaseHandler类，它是所有其他Handler的父类，它提供了最基本的方法，例如default_open( )、protocol_request( )等。

接下来，就有各种Handler子类继承这个BaseHandler类，例如：

HTTPDefaultErrorHandler:用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。

HTTPRedirectHandler:用于处理重定向

HTTPCookieProcessor:用于处理Cookies

ProxyHandler:用于设置代理，默认代理为空

HTTPPasswordMgr:用于管理密码，它维护了用户名和密码的表

HTTPBasicAuthHandler:用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

还有其他的Handler类，就不一一列举了；下面一节我们将会介绍另外一个比较重要的类：OpenerDirector。