大数据采集入门—网络爬虫技术—urllib库

urllib库

urlib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。
导入urlib库常用模块：

import urllib.request
import urllib.error
import urllib.parse

【常见函数】：

在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了

1、urlopen函数
打开链接，获取网页内容元素

url="http://wthrcdn.etouch.cn/weather_mini?city={}".format(city)
#打开网址，读取数据 返回http对象  默认为get请求
r=urllib.request.urlopen(url)
print(r.read())

详解：
（1）url：请求的网络url;
（2）data：请求的data，如果设置了这个值，那么将变成post请求。默认为get请求。
（3）返回值：返回值是一个http.client.HTTPResponse对象，这个对象是一个类文件句柄对象。有read(size)、readline、readlines以及getcode等方法。

2、urlretrieve函数
该函数可以方便的将网页上的一个文件保存到本地。

from urllib import request
request.urlretrieve('http://www.baidu.com/&