17.3.12---urlparse模块的URL下载

1---urlparse模块是一个解析与泛解析Web网址URL字符串的一个工具

　　　　　　urlparse模块会将一个普通的url解析为6个部分，返回的数据类型都是元祖，同时，他还可以将已经分解后的url在组合成url地址

                返回六个部分，分别是：scheme（机制），，netloc（网络配置），path（路径），params（路径段参数）

　　　　　　　　　　　　　　　　　query（查询），fragment（片段）

2-----urlparse函数讲解

　　　　1 )、 urlparse.urlparse(url)，分解url返回元组，可以得到很多关于这个url的数据，网络协议、目录层次等。
　　　　2 )、 urlparse.urlunparse(parts)，它接收一个元组类型，将元组内对应元素重新组后为一个url网址，与上面功                      能正好相反。
　　　　3 )、 urlparse.urlsplit(url)，作用与urlparse非常相似，它不会分解url参数，对于遵循RFC2396的URL很有用                             处。
　　　　4 )、 urlparse.urljoin(base, url ) 功能是基于一个base url和另一个url构造一个绝对URL

3------urlparse模块知识总结

          Python的一大强项就是它在网络抓取方面的功能，像编写一个爬虫抓取网络上面的资源，往往就需要先对网址url做一        个处理，这离不开urlparse模块，自己编写处理url地址的代码费时费力，不如直接找找标准库中的urlparse。

转载于:https://www.cnblogs.com/xiaoyoucai/p/6538647.html