urllib库---内置库（1）

urllib库—内置库（1）

1.urllib库基本使用

from urllib import request



url = 'https://www.biedoul.com/index/21868/'

resp = request.urlopen(url)

print(resp.read().decode('utf-8'))

2.网页数据保存格式—urlretrieve

request.urlretrieve(url,'bie.html')

在py文件相同目录下，会生成一个html文件：

打开即可浏览网页源代码

3.加密与解密—urllib编解码

urlencode函数

实现字典数据—>url编码数据

示例代码：

from urllib import parse

data = {

  'name':'python爬虫',  'greet':'hello world','author':'ZHiLuan'

}

qs = parse.urlencode(data)

print(qs)

运行结果：

name=python%E7%88%AC%E8%99%AB&greet=hello+world&author=ZHiLuan

4.url地址解析—parse/split

·urlparse和urlsplit

示例代码：

from urllib import parse

url = 'https://www.biedoul.com/index/21868/'

result = parse.urlparse(url)

print(result)

运行结果：

ParseResult(scheme='https', netloc='www.biedoul.com', path='/index/21868/', params='', query='', fragment='')

由运行结果可知，urlparse函数可以解析出网页中的scheme、netloc、 path、params、query、fragment。

urlsplit函数的功能差不多，用法一致，只是缺少params项

此外，地址解析也可单独打印出相关内容，如：

ptint(result.scheme)
print(result.netloc)
...

未完待续…