urllib 库的基本使用:
·
所谓网络请求,就是把 URL 地址中指定的网络资源从网络流中读取出来,保存 到本地。
在 python中有很多库可以用来获取网络资源,我们先学习 urllib。urllib2 在 python3.x 中被改为 urllib.request
# 从urllib模块引入request类
from urllib import request
base_url = 'http://www.baidu.com'
# 用request这个类中urlopen这个方法打开base_url这个网址
# 得到一个响应,用变量respond来接收
respond = request.urlopen(url=base_url)
# 再用响应来读取
# 基于网络的数据操作全都是靠字节来实现的,所以我们需要转码
# 这里的变量html 就是一个字符串(通过给的网址打开的字符串)
# 在网页上查看的源码,实际上就是响应
html = respond.read().decode('utf-8')
# 打印出来的东西 就是那个源码
print(html)
# 由于 没网的情况下 你是不能通过原网页查看源码的
# 所以我们将得到的源码写入本地文档中
with open('baidu.html', 'w', encoding='utf-8') as f:
f.write(html)