python urlparse模块的用法

python2中有urllib、urllib2、urlparse，但在python3中这些全部都被整合到了urllib中。
urllib和urllib2中的内容整合进了urllib.request模块中，urlparse整合进了urllib.parse中。
python3中urllib中还包括response、error和robotparse这些子模块。

urlparse模块主要是用于解析url中的参数  对url按照一定格式进行 拆分或拼接 

1.urlparse.urlparse

将url分为6个部分，返回一个包含6个字符串项目的元组：协议、位置、路径、参数、查询、片段。

?

1 2 3

import urlparse url_change = urlparse.urlparse( 'https://i.cnblogs.com/EditPosts.aspx?opt=1' ) print url_change

　　输出结果为：

ParseResult(scheme='https', netloc='i.cnblogs.com', path='/EditPosts.aspx', params='', query='opt=1', fragment='')

其中 scheme 是协议  netloc 是域名服务器  path 相对路径  params是参数，query是查询的条件

 

urlparse.parse_qs(urlparse.urlparse(url).query)

这个是获取urlparse分割后元祖中的某一项  urlparse.urlparse(url).query   获取查询条件

parse_qs 有几种实现

urlparse.parse_qs 返回字典
urlparse.parse_qsl 返回列表

 

2. urlparse.urlsplit

和urlparse差不多，将url分为5部分，返回一个包含5个字符串项目的元组：协议、位置、路径、查询、片段。

import urlparse
url_change = urlparse.urlsplit('https://i.cnblogs.com/EditPosts.aspx?opt=1')
print url_change

SplitResult(scheme='https', netloc='i.cnblogs.com', path='/EditPosts.aspx', query='opt=1', fragment='')

其中 scheme 是协议  netloc 是域名服务器  path 相对路径 query是查询的条件 

 

3.urlparse.urljoin

将相对的地址组合成一个url，对于输入没有限制，开头必须是http://，否则将不组合前面。

import urlparse
new_url = urlparse.urljoin('https://baidu.com/ssss/','88888')
print new_url

输出 https://baidu.com/ssss/88888

如果输入错误信息 如  new_url = urlparse.urljoin('122','88888')    并不会将两者合并   输出‘88888’

 

urlparse.urlunparse(parts)

从一个元组构建一个url，元组类似urlparse返回的，它接收元组(scheme, netloc, path, parameters, query, fragment)后，会重新组成一个具有正确格式的URL，以便供Python的其他HTML解析模块使用。

import urlparse
url=urlparse.urlparse(‘http://www.baidu.com/index.php?username=guol’)
print url
ParseResult(scheme=‘http’, netloc=‘www.baidu.com’, path=’/index.php’, params=’’, query=‘username=guol’, fragment=’’)
u=urlparse.urlunparse(url)
print u
http://www.baidu.com/index.php?username=guol