1.urlparse()
该方法可以实现URL的识别和分段:
from urllib.parse import urlparse
result=urlparse('http://www.baidu.com/index.html;user?id=5#comment')
print(type(result),result)
这里我们用urlparse()方法进行了一个URL的解析。运行结果如下:
可以看到,返回结果是一个ParseResult类型的对象,它包含6个部分,分别是scheme、netloc、path、params、query和fragment。
观察该实例的URL,可以发现,urlparse()方法将其拆分成了6个部分。://前面是scheme,代表协议:第一个/符号前面便是netloc,即域名,后面是path,即访问路径;分号;前面是params,代表参数;问号?后面是查询条件query,一般用作GET类型的URL;井号后面是锚点,用于直接定位页面内部的下拉位置。
所以我们可以得出一个标准的链接格式:
scheme://netloc/path;params?query#fragment
除了这种最基本的解析方式外,urlparse()方法还有其他配置吗?我们先来看下它的API用法:
urllib.parse.urlparse(urlstring, scheme=' ', allow_fragments=True)
urlstring:这是必填项,即待解析的URL。
scheme:它是默认的协议(比如http或https等)。加入这个链接没带协议信息,会将这个作为默认的协议。
allow_fragments:即是否忽略fragment。如果它被设置为False,fragment部