学习Python的内置库---urllib

学习Python的内置库—urllib

我们都知道Python的强大之处在于它为我们提供了功能齐全的各种类库。学习爬虫最基础的操作就是模拟浏览器向服务器发送请求，HTTP协议当然是必备的技能之一了，在Python的HTTP库中有众多的“成员”，Python的内置库urllib便是其中之一。

urllib中的模块分布

学习Python当然要培养一种模块思想。在urllib库有四个模块—request模块,error模块，parse模块，robotparser模块（不常用）

• urllib库
  • request模块
  • error模块
  • parse模块
  • robotparser模块（不常用）

(一)request模块

request模块可以让我们非常方便的实现请求的发送并得到响应。首先我们要介绍的就是request中的urlopen()方法，话不多说，我们直接看代码！
1.urlopen()函数的基本使用—抓取网页源代码

2. urlopen()函数的基本使用—获取其他相应信息（例如状态码，相应头…）

3. urlopen函数的data参数的使用

4.urlopen函数的timeout参数的使用

如果我们只是用urlopen函数的话，该函数的功能并不能满足我们的所有的需求，例如你想要在请求网页的时候加入一些请求头之类的参数信息又该怎么办呢？这时request模块中的Request类就闪亮登场了，我们可以在构造Request对象时传入相应的参数信息，然后再通过urlopen()函数发送请求，这样所有的问题就迎刃而解了，请看下面的例子！

5.urllib.request模块中的Request类的使用

6.当构建一个Request对象时,可传入六个参数

• Request对象的参数
  • 第一个参数url用于请求URL,这是必传的一个参数,其余的都是可传参数
  • 第二个参数data,必须传bytes(字节流)类型的,它是一个字典,可以先使用urllib.parse模块里的urlencode()编码
  • 第三个参数headers一个字典,它就是请求头,我们可以在构造请求时通过headers参数直接构造,也可以通过调用实例对象的add_header()方法添加
  • 第四个参数origin_req_host指的是请求方的host名称或者IP地址
  • 第五个参数unverifiable表示这个请求是否是无法验证的,默认时False,意思就是说用户没有足够的权限来选择接受这个请求的结果
  • 第六个参数method是一个字符串,用来指示请求使用的方法
    
    运行结果：
    

以上是urllib的基本用法，还有一些高级用法（如：Cookie的设置，代理的设置…）这里不再演示！

（二）error模块

• error模块
  • URLError类：由request模块产生的异常，都可以通过捕获这个类来处理，并且它有一个属性reason，可返回错误的原因。
  • HTTPError类：该类是URLError的子类，，专门来处理HTTP请求错误，它有三个重要的属性—code(返回HTTP返回HTTP状态码),reason(返回错误的原因),headers(返回请求头)

（三）parse模块

1.urlparse()方法和urlunparse()方法

2.urlsplit()方法和urlunsplit()方法

3.urljoin()方法

4.urlencode()方法

5. parse_qs()方法和parse_qsl()方法

6. quote()方法和unquote()方法