python接口定义规范化_URL规范化Python实现

指向同一资源的URL表现形式可能存在差异，例如，下面三个URL实际上指向的是同一资源：

http://www.REDICECN.com/

http://www.redicecn.com

http://www.redicecn.com/tools/../

对于爬虫来说，合理的处理方式是将上述三个表现不同URL视为相同的URL。

下面给出一个Python的解决方案，没有考虑URL编码的问题：

# url_normal.py

# by redice

import re

import urlparse

def url_normal(url):

"""normalize url

"""

scheme, netloc, upath, qus = urlparse.urlsplit(url)[:4]

netloc = netloc.lower()

if upath:

upath = re.sub('/{2,}', '/', upath)

upath = re.sub(r'/\./', '/', upath)

parent_regex = re.compile(r'/[^/]+/\.\.')

while parent_regex.search(upath):

upath = parent_regex.sub('/', upath)

upath = re.sub('/{2,}', '/', upath)

if upath.startswith('/..') or upath.endswith('/.'):

upath = ''

else:

upath = re.sub('/$', '', upath)

if qus:

return '%s://%s%s?%s' % (scheme, netloc, upath or '/', qus)

else:

return '%s://%s%s' % (scheme, netloc, upath)

if __name__ == '__main__':

print url_normal('http://www.REDICECN.com/?id=1')

print url_normal('http://www.redicecn.com:80/.')

print url_normal('http://www.redicecn.com//tools/../index.php?upcache=1')