py爬虫自学入门__3(urllib库第二部分)

#     7)URL解析(urllib.parse模块 --> 工具模块)

#        提供一些URL解析方法函数.

#        a) urlparse函数 

#             基本规则：urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

#                                 urlstring参数：url    scheme：请求协议    allow_fragments：

# 

#                          ParseResult的参数分别为：协议类型、域名、路径、······

#                协议类型示例：若无默认协议类型，则可在后面添加scheme=‘http’(‘https’). 若有默认协议类型，后面添加的scheme                                               不作数，eg如下

#

#                 当allow_fragment=False时，fragment的值 #comment 将会拼接到前一个参数中，若前一个也为空，则拼接到空参                   数的前一个，eg如下

#

#       b) urlunparse(urlparse的反函数)

#            将URL进行拼接

#

#       c) urljoin -->拼接URL

#

#       

#        d) urlencode --> 把字典对象转化成GET请求参数       

#

#                        不知道什么原因，这里总是在报错。。。

#    8) robotparse模块（解析robots.txt文件）

#

#有的还是一知半解