Urllib的使用（一）

1,使用urllib爬取网页首先需要导入对应的模块

import urllib.request

2,在导入模块后，我们需要使用urllib.request.urlopen打开并爬取一个网页。（以百度网址http：//www.baidu.com为例）

file=urllib.request.urlopean("http://www.baidu.com")

3,读取网页内容

data=file.read()#读取文件的全部内容，与readlines不同的是，read会把读取到的内容赋给一个字符串变量
datalines=file.readlines()#读取文件的全部内容，与read不同的是，readlines会把读取到的内容赋给一个列表变量，若要读取全部内容，推荐使用这种方式
dataline=file.readline()#读取文件的一行内容

4，爬取到的内容保存到本地

fa=open("D:/","wb")#本地地址
fa.write(data)
fa.close()

内容保存到本地

二，除了这种方法之外，我们还可以使用urllib.request里面的urlretrieve()函数直接将对应信息写入本地文件，格式为

filename=urllib.request.urlretrieve("http:www.baidu.com",filename="D/")

执行成功后，内容保存到本地。

urlretrieve执行过程中，会产生一些缓存，如果我们想清除这些缓存信息，可以使用urlcleanup（）进行清除，输入如下代码即可清除缓存。

urllib.request.urlcleanup()