urllib库:python中一个最基本的网络请求库,可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回数据
urlertrieve函数
作用:这个函数可以方便的将网页的文件保存到本地
格式:ulrlib.request.utlertieve(图片地址,保存路径)
比如:爬取一张图片
from urllib import request
request.urlretrieve("https://dss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=113772628,4120273396&fm=26&gp=0.jpg", "lq2.jpg")
编码解码函数
- urlencode函数:可以将字典中的数据转换为URL编码
- parse_qs函数:可以将经过编码后的url参数进行解码
urlencode函数的示例代码:
运行结果:name=%E5%BC%A0%E4%B8%89&age=18
parse_qs函数的示例代码:
注:根据‘urlencode函数的示例代码’解码的
运行结果:{'name': ['张三'], 'age': ['18']}
解析函数
- urlparse函数:将url中的各个组成部分进行分割
- urlsplit函数:将url中的各个组成部分进行分割
不同点:urlparse函数多了一个params属性,而urlsplit函数没有这个属性
示例代码
from urllib import parse
url = "https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9112033109798267673%22%7D&n_type=0&p_from=1"
result = parse.urlsplit(url)
scheme = result.scheme # 对象.属性
print(scheme)
组成的属性urlparse函数多了一个params属性