pyhton爬虫基础(九)urllib中的解析链接

本文介绍了Python的urllib库中用于URL解析和操作的方法,包括urlparse()、urlunparse()、urlsplit、urlunsplit、urljoin、urlencode、parse_qs、parse_qsl、quote和unquote。这些方法在处理和构建URL时发挥重要作用,例如解析URL的各个组成部分,编码和解码URL,以及构造GET请求参数。
摘要由CSDN通过智能技术生成

1.urlparse()

该方法可以实现URL的识别和分段:

from urllib.parse import urlparse
result=urlparse('http://www.baidu.com/index.html;user?id=5#comment')
print(type(result),result)

这里我们用urlparse()方法进行了一个URL的解析。运行结果如下:

可以看到,返回结果是一个ParseResult类型的对象,它包含6个部分,分别是scheme、netloc、path、params、query和fragment。

观察该实例的URL,可以发现,urlparse()方法将其拆分成了6个部分。://前面是scheme,代表协议:第一个/符号前面便是netloc,即域名,后面是path,即访问路径;分号;前面是params,代表参数;问号?后面是查询条件query,一般用作GET类型的URL;井号后面是锚点,用于直接定位页面内部的下拉位置。

所以我们可以得出一个标准的链接格式:

scheme://netloc/path;params?query#fragment

除了这种最基本的解析方式外,urlparse()方法还有其他配置吗?我们先来看下它的API用法:

urllib.parse.urlparse(urlstring, scheme=' ', allow_fragments=True)

urlstring:这是必填项,即待解析的URL。

scheme:它是默认的协议(比如http或https等)。加入这个链接没带协议信息,会将这个作为默认的协议。

allow_fragments:即是否忽略fragment。如果它被设置为False,fragment部

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值