Python之urlparse模块

一、简介

urlparse库用于把url解析为各个组件，支持file,ftp,http,https, imap, mailto, mms, news, nntp, prospero, rsync, rtsp, rtspu, sftp, shttp, sip, sips, snews, svn, svn+ssh, telnet等几乎所有的形式。根据其官网的说明，在Python3.0中，此库已经更名为urllib.parse了。官方文档地址：http://docs.python.org/library/urlparse.html

二、函数说明

1. urlparse()函数

from urlparse import urlparse

urlparse(urlstring[, scheme[, allow_fragments]])

该函数将一个url字符串分解为6个元素，以元祖的形式返回。这与URL的一般结构相关: scheme://netloc/path;parameters?query#fragment.解析得到的每个元素都是一个字符串,有的元素可能为空.除了返回这6个元素外，返回的对象还包含了一些属性：username、password、hostname、port. 例如:

>>> from urlparse import urlparse

>>> o = urlparse('http://www.cwi.nl:80/%7Eguido/Python.html')

>>> o

ParseResult(scheme='http',netloc='www.cwi.nl:80', path='/%7Eguid/Python.html', params='', query='', fragment='')

>>> o.port

80

>>> o.hostname

'www.cwi.nl'

注意一点,若要得到正确的netloc值，则url必须以//开头，否则会被归到path值里去.例如:

>>> urlparse('//www.cwi.nl:80/%7Eguido/Python.html')

ParseResult(scheme='', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html', params='', query='', fragment='')

>>> urlparse('www.cwi.nl/%7Eguido/Python.html')

ParseResult(scheme='', netloc='', path='www.cwi.nl/%7Eguido/Python.html', params='', query='', fragment='')

其实,返回的结果是tuple子类的一个实例.该类具有如下的只读属性:

2. Urlunparse此函数作用是把urlparse()分解的元素再拼合还原为一个url，该函数的参数可以是任意的六元组.例：

>>> print urlunparse(o)

http://www.cwi.nl:80/%7Eguido/Python.html

3.urlsplit(urlstring[, scheme[, allow_fragments]])此函数与urlparse()类似，不过返回的是一个5元素的元祖，不包括params。

4.urlunsplit(parts)函数此函数是将urlsplit函数分解的元素再组合起来。

5.urljoin(base,url[,allow_fragments]):基于一个base URL和另一个URL构造一个绝对URL.例如:

>>> from urlparse import urljoin

>>> urljoin('http://www.cwi.nl/%7Eguido/Python.html', 'FAQ.html')

'http://www.cwi.nl/%7Eguido/FAQ.html'

注意,如果参数中的url为一个绝对路径的URL(即以//或scheme://开始),那么url的host name 和(或)scheme将会出现在结果中.例如:

>>> urljoin('http://www.cwi.nl/%7Eguido/Python.html',  '//www.python.org/%7Eguido')

'http://www.python.org/%7Eguido'

6.其它的方法不再一一介绍.