爬虫系列16.urlparse模块

res = urlparse.urlparse(url,scheme,allow_fragments)
返回一个6-tuple,类型是ParseResult(scheme, netloc, path, params, query, fragment)
ParseResult类还有几个常用方法:
res.username
res.password
res.hostname
res.port
res.geturl()

urlparse.urldefrag(url)

urlparse.urlunparse(data)
返回一个string
data必须是six-item iterable


res = urlparse.urlsplit(url,scheme,allow_fragments)
返回一个5-tuple,类型是.SplitResult(scheme, netloc, path, query, fragment)
这里的path相当于urlparse的path+params,具体见例子


urlparse.urlunsplit(data)
返回一个string
data必须是five-item iterable


urlparse.urljoin(base, url, allow_fragments)
这个函数比较复杂,不同的数据得出的结果大不一样,而且容易出现错误,不建议用这个函数,详见下面几个例子
    1. import urlparse
    2.
    3. url = "https://www.google.com.hk:8080/home/search;12432?newwi.1.9.serpuc#1234"
    4.
    5. r = urlparse.urlparse(url)
    6. print r


#ParseResult(scheme='https', netloc='www.google.com.hk:8080', path='/home/search', params='12432', query='newwi.1.9.serpuc',
fragment='1234')

    7. print r.port,r.hostname

#8080 www.google.com.hk

    8. print r.geturl()
https://www.google.com.hk:8080/home/search;12432?newwi.1.9.serpuc#1234

    9. r = urlparse.urlsplit(url)
    10. print r
SplitResult(scheme='https', netloc='www.google.com.hk:8080', path='/home/search;12432', query='newwi.1.9.serpuc',
fragment='1234')

    11. parts = ["http","www.facebook.com","/home/email","132","parts","md5=?"]
    12. print urlparse.urlunparse(parts)
http://www.facebook.com/home/email;132?parts#md5=?
    13. print urlparse.urlunsplit(parts[0:5])
http://www.facebook.com/home/email?132#parts

    14. base = "http://baidu.com/home"
    15. url = "index.html"
    16. print urlparse.urljoin(base, url)
http://baidu.com/index.html

    17. base = "http://baidu.com/home/action.jsp"
    18. url = "index.html"
    19. print urlparse.urljoin(base, url)
http://baidu.com/home/index.html

    20. base = "http://baidu.com/home/action.jsp"
    21. url = "/index.html"
    22. print urlparse.urljoin(base, url)
http://baidu.com/index.html

    23. base = "http://baidu.com/home/action.jsp"
    24. url = "../../index.html"
    25. print urlparse.urljoin(base, url)
http://baidu.com/../index.html
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

豆豆orz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值