爬虫urllib库parse模块的urlparse详解

一 点睛

urllib库里还提供了parse这个模块，它定义了处理URL的标准接口，例如实现URL各部分的抽取、合并以及链接转换。

它支持如下协议的URL处理：file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet和wais。

本篇详细介绍urlparse()。

二 urlparse()详解

1 代码1

from urllib.parse import urlparse
# 该方法可以实现URL的识别和分段
result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
# 这里我们利用urlparse()方法进行了一个URL的解析。首先，输出了解析结果的类型，然后将结果也输出出来。
print(type(result), result)

2 结果1

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py
<class 'urllib.parse.ParseResult'> ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')

3 说明1

可以看到，返回结果是一个ParseResult类型的对象，它包含6部分，分别是scheme、netloc、path、params、query和fragment。

观察一下该实例的URL：http://www.baidu.com/index.html;user?id=5#comment

可以发现，urlparse()方法将其拆分成了6部分。

大体观察可以发现，解析时有特定的分隔符。比如，://前面的就是scheme，代表协议；第一个/前面便是netloc，即域名；分号;后面是params，代表参数。

所以，可以得出一个标准的链接格式，具体如下：

scheme://netloc/path;parameters?query#fragment

一个标准的URL都会符合这个规则，利用urlparse()方法可以将它拆分开来。

4 urlparse()的API

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

可以看到，它有3个参数。

• urlstring：这是必填项，即待解析的URL。

• scheme：它是默认的协议（比如http或https等）。假如这个链接没有带协议信息，会将这个作为默认的协议。

• allow_fragments：即是否忽略fragment。如果它被设置为False，fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空。

5 代码2

from urllib.parse import urlparse

result = urlparse('www.baidu.com/index.html;user?id=5#comment', scheme='https')
print(result)

6 结果2

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py
ParseResult(scheme='https', netloc='', path='www.baidu.com/index.html', params='user', query='id=5', fragment='comment')

7 说明2 

提供的URL没有包含最前面的scheme信息，但是通过指定默认的scheme参数，返回的结果是https。

scheme参数只有在URL中不包含scheme信息时才生效。如果URL中有scheme信息，就会返回解析出的scheme。

8 代码3

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', scheme='https')

9 结果3

ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')

10 说明3

scheme参数只有在URL中不包含scheme信息时才生效。如果URL中有scheme信息，就会返回解析出的scheme。

11 代码4

# allow_fragments：即是否忽略fragment。如果它被设置为False，
# fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空。
from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', allow_fragments=False)
print(result)

12 结果4

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py
ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5#comment', fragment='')

13 代码5

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)
print(result)

14 结果5

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py
ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html#comment', params='', query='', fragment='')

15 说明5

当URL中不包含params和query时，fragment便会被解析为path的一部分。

16 代码6

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)
print(result.scheme, result[0], result.netloc, result[1], sep='\n')

17 结果6

http
http
www.baidu.com
www.baidu.com

18 说明6

返回结果ParseResult实际上是一个元组，我们可以用索引顺序来获取，也可以用属性名获取。