urllib 库里还提供了 parse 这个模块,它定义了处理 URL 的标准接口,例如实现 URL 各部分的抽取、合并以及链接转换。它支持如下协议的 URL 处理:file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet 和 wais。本节中,我们介绍一下该模块中常用的方法来看一下它的便捷之处。
1.urlparse()
from urllib. parse import urlparse
result = urlparse( 'http://www.baidu.com/index.html;user?id=5#comment' )
print ( type ( result) , result)
< class 'urllib.parse.ParseResult' >
ParseResult( scheme= 'http' , netloc= 'www.baidu.com' , path= '/index.html' , params= 'user' , query= 'id=5' , fragment= 'comment' )
这里利用 urlparse() 方法进行了一个 URL 的解析。首先,输出了解析结果的类型,然后将结果也输出出来。 返回结果是一个 ParseResult 类型的对象,它包含 6 部分,分别是 scheme、netloc、path、params、query 和 fragment。
http: // www. baidu. com/ index. html; user?id = 5
urlparse() 方法将其拆分成了 6 部分 // 前面的就是 scheme,代表协议 第一个 / 前面便是 netloc,即域名 ? 前面是 params,代表参数
scheme: // netloc/ path; parameters?query
urllib. parse. urlparse( urlstring, scheme= '' , allow_fragments= True )
urlstring 这是必填项,即待解析的 URL scheme 它是默认的协议(比如 http 或 https 等)。假如这个链接没有带协议信息,会将这个作为默认的协议。 allow_fragments 即是否忽略 fragment。如果它被设置为 False,fragment 部分就会被忽略,它会被解析为 path、parameters 或者 query 的一部分,而 fragment 部分为空。
from urllib. parse import urlparse
result = urlparse( 'www.baidu.com/index.html;user?id=5#comment' , scheme= 'https' )
print ( result)
ParseResult( scheme= 'https' , netloc= '' , path= 'www.baidu.com/index.html' , params= 'user' , query= 'id=5' , fragment= 'comment' )
我们提供的 URL 没有包含最前面的 scheme 信息,但是通过指定默认的 scheme 参数,返回的结果是 https。 假设我们带上了 scheme:
result = urlparse( 'http://www.baidu.com/index.html;user?id=5#comment' , scheme= 'https' )
ParseResult( scheme= 'http' , netloc= 'www.baidu.com' , path= '/index.html' , params= 'user' , query= 'id=5' , fragment= 'comment' )
可见,scheme 参数只有在 URL 中不包含 scheme 信息时才生效。如果 URL 中有 scheme 信息,就会返回解析出的 scheme。
from urllib. parse import urlparse
result = urlparse( 'http://www.baidu.com/index.html;user?id=5#comment' , allow_fragments= False )
print ( result)
ParseResult( scheme= 'http' , netloc= 'www.baidu.com' , path= '/index.html' , params= 'user' , query= 'id=5#comment' , fragment= '' )
假设 URL 中不包含 params 和 query,我们再通过实例看一下:
from urllib. parse import urlparse
result = urlparse( 'http://www.baidu.com/index.html#comment' , allow_fragments= False )
print ( result)
ParseResult( scheme= 'http' , netloc= 'www.baidu.com' , path= '/index.html#comment' , params= '' , query= '' , fragment= '' )
可以发现,当 URL 中不包含 params 和 query 时,fragment 便会被解析为 path 的一部分。
返回结果 ParseResult 实际上是一个元组,我们可以用索引顺序来获取,也可以用属性名获取。
from urllib. parse import urlparse
result = urlparse( 'http://www.baidu.com/index.html#comment' , allow_fragments= False )
print ( result. scheme, result[ 0 ] , result. netloc, result[ 1 ] , sep= '\n' )
http
http
www. baidu. com
www. baidu. com
2. urlunparse()
它接受的参数是一个可迭代对象,但是它的长度必须是 6,否则会抛出参数数量不足或者过多的问题。
from urllib. parse import urlunparse
data = [ 'http' , 'www.baidu.com' , 'index.html' , 'user' , 'a=6' , 'comment' ]
print ( urlunparse( data) )
这里参数 data 用了列表类型。当然,你也可以用其他类型,比如元组或者特定的数据结构。
http: // www. baidu. com/ index. html; user?a= 6
3. urlsplit()
这个方法和 urlparse() 方法非常相似,只不过它不再单独解析 params 这一部分,只返回 5 个结果。上面例子中的 params 会合并到 path 中。
from urllib. parse import urlsplit
result = urlsplit( 'http://www.baidu.com/index.html;user?id=5#comment' )
print ( result)
SplitResult( scheme= 'http' , netloc= 'www.baidu.com' , path= '/index.html;user' , query= 'id=5' , fragment= 'comment' )
返回结果是 SplitResult,它其实也是一个元组类型,既可以用属性获取值,也可以用索引来获取。
from urllib. parse import urlsplit
result = urlsplit( 'http://www.baidu.com/index.html;user?id=5#comment' )
print ( result. scheme, result[ 0 ] )
http http
4.urlunsplit()
与 urlunparse() 类似,它也是将链接各个部分组合成完整链接的方法,传入的参数也是一个可迭代对象,例如列表、元组等,唯一的区别是长度必须为 5。
from urllib. parse import urlunsplit
data = [ 'http' , 'www.baidu.com' , 'index.html' , 'a=6' , 'comment' ]
print ( urlunsplit( data) )
http: // www. baidu. com/ index. html?a= 6
5. urljoin()
有了 urlunparse() 和 urlunsplit() 方法,我们可以完成链接的合并,不过前提必须要有特定长度的对象,链接的每一部分都要清晰分开。 此外,生成链接还有另一个方法,那就是 urljoin() 方法。我们可以提供一个 base_url(基础链接)作为第一个参数,将新的链接作为第二个参数,该方法会分析 base_url 的 scheme、netloc 和 path 这 3 个内容并对新链接缺失的部分进行补充,最后返回结果。
from urllib. parse import urljoin
print ( urljoin( 'http://www.baidu.com' , 'FAQ.html' ) )
print ( urljoin( 'http://www.baidu.com' , 'https://cuiqingcai.com/FAQ.html' ) )
print ( urljoin( 'http://www.baidu.com/about.html' , 'https://cuiqingcai.com/FAQ.html' ) )
print ( urljoin( 'http://www.baidu.com/about.html' , 'https://cuiqingcai.com/FAQ.html?question=2' ) )
print ( urljoin( 'http://www.baidu.com?wd=abc' , 'https://cuiqingcai.com/index.php' ) )
print ( urljoin( 'http://www.baidu.com' , '?category=2#comment' ) )
print ( urljoin( 'www.baidu.com' , '?category=2#comment' ) )
print ( urljoin( 'www.baidu.com#comment' , '?category=2' ) )
http: // www. baidu. com/ FAQ. html
https: // cuiqingcai. com/ FAQ. html
https: // cuiqingcai. com/ FAQ. html
https: // cuiqingcai. com/ FAQ. html?question= 2
https: // cuiqingcai. com/ index. php
http: // www. baidu. com?category= 2
www. baidu. com?category= 2
www. baidu. com?category= 2
可以发现,base_url 提供了三项内容 scheme、netloc 和 path。如果这 3 项在新的链接里不存在,就予以补充;如果新的链接存在,就使用新的链接的部分。而 base_url 中的 params、query 和 fragment 是不起作用的。
6. urlencode()
from urllib. parse import urlencode
params = {
'name' : 'germey' ,
'age' : 22
}
base_url = 'http://www.baidu.com?'
url = base_url + urlencode( params)
print ( url)
http: // www. baidu. com?name= germey& age= 22
这里首先声明了一个字典来将参数表示出来,然后调用 urlencode() 方法将其序列化为 GET 请求参数。 这个方法非常常用。有时为了更加方便地构造参数,我们会事先用字典来表示。要转化为 URL 的参数时,只需要调用该方法即可。
7. parse_qs()
有了序列化,必然就有反序列化。如果我们有一串 GET 请求参数,利用 parse_qs() 方法,就可以将它转回字典
from urllib. parse import parse_qs
query = 'name=germey&age=22'
print ( parse_qs( query) )
{ 'name' : [ 'germey' ] , 'age' : [ '22' ] }
8. parse_qsl()
from urllib. parse import parse_qsl
query = 'name=germey&age=22'
print ( parse_qsl( query) )
[ ( 'name' , 'germey' ) , ( 'age' , '22' ) ]
可以看到,运行结果是一个列表,而列表中的每一个元素都是一个元组,元组的第一个内容是参数名,第二个内容是参数值。
9. quote()
该方法可以将内容转化为 URL 编码的格式。URL 中带有中文参数时,有时可能会导致乱码的问题,此时用这个方法可以将中文字符转化为 URL 编码
from urllib. parse import quote
keyword = '壁纸'
url = 'https://www.baidu.com/s?wd=' + quote( keyword)
print ( url)
10. unquote()
from urllib. parse import unquote
url = 'https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8'
print ( unquote( url) )
https: // www. baidu. com/ s?wd= 壁纸
转载 作者: 崔庆才 来源: [Python3网络爬虫开发实战] 3.1.3-解析链接