Python爬虫-请求模块Urllib

Python爬虫-请求模块Urllib

Python3中的Urllib 模块中包含多个功能的子模块，具体内容如下：
urllib.request：用于实现基本HTTP请求的模块。
urllib.error：异常处理模块，如果在发送网络请求时出现了错误，可以捕获异常进行异常的有效处理。
urllib.parse：用于解析URL的模块。
urllib.robotparser：用于解析robots.txt文件，判断网站是否可以爬取信息。

使用 urlopen（）方法发送请求

urllib.request模块提供了urlopen（）方法，用于实现最基本的HTTP请求，然后接收服务端所返回的响应数据。urlopen（）方法的语法格式如下：

urllib.request.urlopen(url,data-None,[timeout,]*,cafile-None,capath-None,cadefault-False, context=None)

url：需要访问网站的URL完整地址。
data：该参数默认为None，通过该参数确认请求方式，如果是None，表示请求方式为GET，否则请求方式为POST，在发送POST请求时，参数data 需要以字典形式的数据作为参数值，并且需要将字典类型的参数值转换为字节类型的数据才可以实现POST请求。
timcout：以秒为单位，设置超时。
cafile、capath：指定一组 HTTPS请求受信任的CA证书，cafile指定包含CA证书的单个文件，capath指定证书文件的目录。
cadefault：CA证书默认值。
context：描述SSL选项的实例。

HTTPResponse 常用的方法与属性获取信息

import urllib.request    # 导入request子模块
url = 'https://www.python.org/'
response = urllib.request.urlopen(url=url)  # 发送网络请求
print('响应状态码为：',response.status)
print('响应头所有信息为：',response.getheaders())
print('响应头指定信息为：',response.getheader('Accept-Ranges'))
# 读取HTML代码并进行utf-8解码
print('Python官网HTML代码如下：\n',response.read().decode('utf-8'))

运行：

响应状态码为： 200
响应头所有信息为： [('Connection', 'close'), ('Content-Length', '50771'), ('Content-Type', 'text/html; charset=utf-8'), ('X-Frame-Options', 'SAMEORIGIN'), ('Via', '1.1 varnish, 1.1 varnish'), ('Accept-Ranges', 'bytes'), ('Date', 'Sat, 17 Aug 2024 04:05:29 GMT'), ('Age', '883'), ('X-Served-By', 'cache-iad-kiad7000025-IAD, cache-nrt-rjtf7700020-NRT'), ('X-Cache', 'HIT, HIT'), ('X-Cache-Hits', '461, 64'), ('X-Timer', 'S1723867530.760647,VS0,VE0'), ('Vary', 'Cookie'), ('Strict-Transport-Security', 'max-age=63072000; includeSubDomains; preload')]
响应头指定信息为： bytes

使用urlopen（）方法发送POST请求

import urllib.request    # 导入urllib.request模块
import urllib.parse      # 导入urllib.parse模块
url = 'https://www.httpbin.org/post'    # post请求测试地址
# 将表单数据转换为bytes类型，并设置编码方式为utf-8
data = bytes(urllib.parse.urlencode({'hello':'python'}),encoding='utf-8')
response = urllib.request.urlopen(url=url,data=data)  # 发送网络请求
print(response.read().decode('utf-8'))    # 读取HTML代码并进行

运行：

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "hello": "python"
  },
  "headers": {
    "Accept-Encoding": "identity",
    "Content-Length": "12",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "www.httpbin.org",
    "User-Agent": "Python-urllib/3.7",
    "X-Amzn-Trace-Id": "Root=1-66c02297-6c016ea61ad2e00e078c48d7"
  },
  "json": null,
  "origin": "61.136.223.36",
  "url": "https://www.httpbin.org/post"
}

设置网络超时
捕获超时异常处理网络超时

import urllib.request  # 导入urllib.request模块
import urllib.error  # 导入urllib.error模块
import socket  # 导入socket模块

url = 'https://www.python.org/'  # 请求地址
try:
    # 发送网络请求,设置超时时间为0.1秒
    response = urllib.request.urlopen(url=url, timeout=0.1)
    print(response.read().decode('utf-8'))  # 读取HTML代码并进行utf-8解码
except urllib.error.URLError as error:  # 处理异常
    if isinstance(error.reason, socket.timeout):  # 判断异常是否为超时异常
        print('当前任务已超时，即将执行下一任务！')

运行：

当前任务已超时，即将执行下一任务！

复杂的网络请求

通过上一节的学习可以得知，urlopen（）方法能够发送一个最基本的网络请求，但这并不是一个完整的网络请求。如果要构建一个完整的网络请求，还需要在请求中添加 Headers、Cookies以及代理IP等内容，这样才能更好的模拟一个浏览器所发送的网络请求。Request类则可以构建一个多种功能的请求对象，其语法格式如下：

urllib. request. Request(url, data-None, headers-{}, origin_req_host-None, unverifiable=False, method=None)

url：需要访问网站的URL完整地址。
data：该参数默认为None，通过该参数确认请求方式，如果是None，表示请求方式为GET，否则请求方式为POST。在发送POST请求时，参数data需要以字典形式的数据作为参数值，并且需要将字典类型的参数值转换为字节类型的数据才可以实现 POST请求。
headers：设置请求头部信息，该参数为字典类型。添加请求头信息最常见的用法就是修改User-Agent来伪装成浏览器。例如，headers ={‘User-Agent’：‘Mozilla/5.0（Windows NT 10.0；
WOW64）AppleWebKit/537.36（KHTML，like Gecko）Chrome/83.0.4103.61 Safari/537.36’}，表示伪装谷歌浏览器进行网络请求。
origin_req_host：用于设置请求方的host名称或者是IP。
unverifiable：用于设置网页是否需要验证，默认是False。
method：用于设置请求方式，如GET、POST等，默认为GET请求。
设置请求头信息
如果需要设置请求头信息，首先通过 Request类构造一个带有 headers 请求头信息的 Request 对象，然后为urlopen（）方法传入 Request对象，再进行网络请求的发送。示例代码如下：

import urllib.request  # 导入urllib.request模块
import urllib.parse    # 导入urllib.parse模块
url = 'https://www.httpbin.org/post'  # 请求地址
# 定义请求头信息
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
# 将表单数据转换为bytes类型，并设置编码方式为utf-8
data = bytes(urllib.parse.urlencode({'hello':'python'}),encoding='utf-8')
# 创建Request对象
r = urllib.request.Request(url=url,data=data,headers=headers,method='POST')
response = urllib.request.urlopen(r)  # 发送网络请求
print(response.read().decode('utf-8'))  # 读取HTML代码并进行utf-8解码

运行：

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "hello": "python"
  },
  "headers": {
    "Accept-Encoding": "identity",
    "Content-Length": "12",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "www.httpbin.org",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36",
    "X-Amzn-Trace-Id": "Root=1-66c024ad-1d1900532e58a6e548b8eacc"
  },
  "json": null,
  "origin": "61.136.223.36",
  "url": "https://www.httpbin.org/post"
}

异常处理
在实现网络请求时，可能会出现很多异常错误，Urllib模块中的urllib.error 子模块，包含了URLError与 HTTPError两个比较重要的异常类。
调用reason，属性处理URLError异常

import urllib.request    # 导入urllib.request模块
import urllib.error      # 导入urllib.error模块
try:
    # 向不存在的网络地址发送请求
    response = urllib.request.urlopen('http://site2.rjkflm.com:666/123index.html')
except urllib.error.URLError as error:    # 捕获异常信息
    print(error.reason)                    # 打印异常原因

运行：

[Errno 11001] getaddrinfo failed

HTTPError类是URLError类的子类，主要用于处理HTTP请求所出现的异常，该类有以下三个属性：
code：返回HTTP状态码。
reason：返回错误原因。
headers：返回请求头。
双重异常的捕获
由于 HTTPError 是 URLError的子类，有时 HTTPError类会有捕获不到的异常，所以可以先捕获子类HTTPError的异常，然后再去捕获父类URLError的异常，这样可以起到双重保险的作用。示例代码如下：

import urllib.request    # 导入urllib.request模块
import urllib.error      # 导入urllib.error模块
try:
    # 向不存在的网络地址发送请求
    response = urllib.request.urlopen('https://www.python.org/',timeout=0.1)
except urllib.error.HTTPError as error:    # HTTPError捕获异常信息
    print('状态码为：',error.code)                      # 打印状态码
    print('HTTPError异常信息为：',error.reason)         # 打印异常原因
    print('请求头信息如下：\n',error.headers)           # 打印请求头
except urllib.error.URLError as error:     # URLError捕获异常信息
    print('URLError异常信息为：',error.reason)

运行：

URLError异常信息为： timed out

解析链接

Urllib 模块中提供了parse 子模块，主要用于解析URL，可以实现 URL 的拆分或者是组合。它支持多种协议的URL处理，如 file、ftp、gopher、hdl、http、https、imap、mailto、mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、shttp、sip、sips、snews、SVn、svn+ssh、telnet、wais、ws、wss。
拆分 URL
使用urlparse（）方法拆分URL

import urllib.parse    #导入urllib.parse模块
parse_result = urllib.parse.urlparse('https://docs.python.org/3/library/urllib.parse.html')
print(type(parse_result))    # 打印类型
print(parse_result)          # 打印拆分后的结果

运行：

<class 'urllib.parse.ParseResult'>
ParseResult(scheme='https', netloc='docs.python.org', path='/3/library/urllib.parse.html', params='', query='', fragment='')

从以上的运行结果中可以看出，调用urlparse（）方法将返回一个ParseResult对象此对象，由6部分组成：scheme表示协议，netloc表示域名，path表示访问的路径，params表示参数，query表示查询条件，fragment表示片段标识符。
使用urlsplit（）方法拆分URL
urlsplit（）方法与urlparse（）方法类似，都可以实现URL的拆分。只是urlsplit（）方法不再单独拆分params这部分内容，而是将 params合并到path当中，所以返回的结果中只有5部分内容，并且返回的数据类型为 SplitResult。示例代码如下：

import urllib.parse    #导入urllib.parse模块
# 需要拆分的URL
url = 'https://docs.python.org/3/library/urllib.parse.html'
print(urllib.parse.urlsplit(url))     # 使用urlsplit()方法拆分URL
print(urllib.parse.urlparse(url))     # 使用urlparse()方法拆分URL

运行：

SplitResult(scheme='https', netloc='docs.python.org', path='/3/library/urllib.parse.html', query='', fragment='')
ParseResult(scheme='https', netloc='docs.python.org', path='/3/library/urllib.parse.html', params='', query='', fragment='')

组合URL
使用urlunparse（）方法组合URL

import urllib.parse    #导入urllib.parse模块
list_url = ['https','docs.python.org','/3/library/urllib.parse.html','','','']
tuple_url = ('https','docs.python.org','/3/library/urllib.parse.html','','','')
dict_url = {'scheme':'https','netloc':'docs.python.org','path':'/3/library/urllib.parse.html','params':'','query':'','fragment':''}
print('组合列表类型的URL：',urllib.parse.urlunparse(list_url))
print('组合元组类型的URL：',urllib.parse.urlunparse(tuple_url))
print('组合字典类型的URL：',urllib.parse.urlunparse(dict_url.values()))

运行：

组合列表类型的URL： https://docs.python.org/3/library/urllib.parse.html
组合元组类型的URL： https://docs.python.org/3/library/urllib.parse.html
组合字典类型的URL： https://docs.python.org/3/library/urllib.parse.html

使用urlunparse（）方法组合URL时，需要注意可迭代参数中的元素必须是6个。
使用urlunsplit（）方法组合URL

import urllib.parse    #导入urllib.parse模块
list_url = ['https','docs.python.org','/3/library/urllib.parse.html','','']
tuple_url = ('https','docs.python.org','/3/library/urllib.parse.html','','')
dict_url = {'scheme':'https','netloc':'docs.python.org','path':'/3/library/urllib.parse.html','query':'','fragment':''}
print('组合列表类型的URL：',urllib.parse.urlunsplit(list_url))
print('组合元组类型的URL：',urllib.parse.urlunsplit(tuple_url))
print('组合字典类型的URL：',urllib.parse.urlunsplit(dict_url.values()))

运行：

组合列表类型的URL： https://docs.python.org/3/library/urllib.parse.html
组合元组类型的URL： https://docs.python.org/3/library/urllib.parse.html
组合字典类型的URL： https://docs.python.org/3/library/urllib.parse.html

连接URL
使用urljoin（）方法连接URL

import urllib.parse    #导入urllib.parse模块
base_url = 'https://docs.python.org'   # 定义基础链接
# 第二参数不完整时
print(urllib.parse.urljoin(base_url,'3/library/urllib.parse.html'))
# 第二参数完成时，直接返回第二参数的链接
print(urllib.parse.urljoin(base_url,'https://docs.python.org/3/library/urllib.parse.html#url-parsing'))

运行：

https://docs.python.org/3/library/urllib.parse.html
https://docs.python.org/3/library/urllib.parse.html#url-parsing

URL的编码与解码
URL编码是GET请求中比较常见的，是将请求地址中的参数进行编码，尤其是对于中文参数。parse子模提供了urlencode（）方法与 quote（）方法用于实现URL的编码，而unquote（）方法可以实现对加密后的URL 进行解码操作。
使用urlencode（）方法编码请求参数
urlencode（）方法接收一个字典类型的值，所以要想将URL 进行编码需要先将请求参数定义为字典类型，然后再调用urlencode（）方法进行请求参数的编码。示例代码如下：

import urllib.parse    #导入urllib.parse模块
base_url = 'http://httpbin.org/get?'    # 定义基础链接
params = {'name':'Jack','country':'中国','age':30}  # 定义字典类型的请求参数
url = base_url+urllib.parse.urlencode(params)       # 连接请求地址
print('编码后的请求地址为：',url)

运行：

编码后的请求地址为： http://httpbin.org/get?name=Jack&country=%E4%B8%AD%E5%9B%BD&age=30

地址中“%E4%B8%AD%E5%9B%BD&”内容为中文（中国）转码后的效果。
使用quote（）方法编码字符串参数
quote（）方法与urlencode（）方法所实现的功能类似，但是urlencode（）方法中只接收字典类型的参数，而quote（）方法则可以将一个字符串进行编码。示例代码如下：

import urllib.parse    #导入urllib.parse模块
base_url = 'http://httpbin.org/get?country='    # 定义基础链接
url = base_url+urllib.parse.quote('中国')        # 字符串编码
print('编码后的请求地址为：',url)

运行：

编码后的请求地址为： http://httpbin.org/get?country=%E4%B8%AD%E5%9B%BD

使用unquote（）方法解码请求参数
unquote（）方法可以将编码后的URL 字符串逆向解码，无论是通过urlencode（）方法或者是 quote（）
方法所编码的URL字符串都可以使用 unquote（）方法进行解码。示例代码如下：

import urllib.parse    #导入urllib.parse模块
u = urllib.parse.urlencode({'country':'中国'})  # 使用urlencode编码
q=urllib.parse.quote('country=中国')              # 使用quote编码
print('urlencode编码后结果为：',u)
print('quote编码后结果为：',q)
print('对urlencode解码：',urllib.parse.unquote(u))
print('对quote解码：',urllib.parse.unquote(q))

运行：

urlencode编码后结果为： country=%E4%B8%AD%E5%9B%BD
quote编码后结果为： country%3D%E4%B8%AD%E5%9B%BD
对urlencode解码： country=中国
对quote解码： country=中国

URL 参数的转换
使用parse_qs（）方法将参数转换为字典类型
请求地址的URL是一个字符串，如果需要将其中的参数转换为字典类型，可以先使用urlsplit（）方
法拆分 URL，然后再调用 query属性获取URL 中的参数，最后使用 parse_qs（）方法将参数转换为字典类型的数据。示例代码如下：

import urllib.parse    #导入urllib.parse模块
# 定义一个请求地址
url = 'http://httpbin.org/get?name=Jack&country=%E4%B8%AD%E5%9B%BD&age=30'
q = urllib.parse.urlsplit(url).query   # 获取需要的参数
q_dict = urllib.parse.parse_qs(q)      # 将参数转换为字典类型的数据
print('数据类型为：',type(q_dict))
print('转换后的数据：',q_dict)

运行：

数据类型为： <class 'dict'>
转换后的数据： {'name': ['Jack'], 'country': ['中国'], 'age': ['30']}