python爬虫学习9

python爬虫学习9

• 解析连接

  前面我们知道，urllib中的parse模块定义了处理URL的接口，通过调用该模块我们可以实现，例如URL各部分的抽取、合并以及连接转换。

  下面，让我们一起了解几个parse模块中的常用方法：

  • urlparse方法

    import urllib.parse
    
    # prase.urlparse
    
    url = "https://baike.baidu.com/item/Python/407313?fr=aladdin"
    result = urllib.parse.urlparse(url)
    
    print(type(result))
    print(result)
    

    运行结果：

    

    可以看到结果是一个 urllib.parse.ParseResult 类，共包含六部分：

    • scheme
    • netloc
    • path
    • params
    • query
    • fragment</