Python3网络爬虫实战-22、使用Urllib：解析链接

Urllib 库里还提供了 parse 这个模块，它定义了处理 URL 的标准接口，例如实现 URL 各部分的抽取，合并以及链接转换。它支持如下协议的 URL 处理：file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、shttp、 sip、sips、snews、svn、svn+ssh、telnet、wais，本节我们介绍一下该模块中常用的方法来感受一下它的便捷之处。

1. urlparse()

urlparse() 方法可以实现 URL 的识别和分段，我们先用一个实例来感受一下：

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
print(type(result), result)

在这里我们利用了 urlparse() 方法进行了一个 URL 的解析，首先输出了解析结果的类型，然后将结果也输出出来。

运行结果：

<class 'urllib.parse.ParseResult'>
ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

观察可以看到，返回结果是一个 ParseResult 类型的对象，它包含了六个部分，分别是 scheme、netloc、path、params、query、fragment。

观察一下实例的URL：

http://www.baidu.com/index.html;user?id=5#comment

urlparse() 方法将其拆分成了六部分，大体观察可以发现，解析时有特定的分隔符，比如 ?/ 前面的就是 scheme，代表协议，第一个 / 前面便是 netloc，即域名，分号 ; 前面是 params，代表参数。

所以可以得出一个标准的链接格式如下：

scheme://netloc/path;parameters?query#fragment

一个标准的 URL 都会符合这个规则，利用 urlparse() 方法我们可以将它解析拆分开来。

除了这种最基本的解析方式，urlopen() 方法还有其他配置吗？接下来看一下它的 API 用法：

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

可以看到它有三个参数：

• urlstring，是必填项，即待解析的 URL。
• scheme，是默认的协议（比如http、https等），假如这个链接没有带协议信息，会将这个作为默认的协议。

我们用一个实例感受一下：

from urllib.parse import urlparse

result = urlparse('www.baidu.com/index.html;user?id=5#comment', scheme='https')
print(result)

运行结果：

ParseResult(scheme='h