urllib是python中的内置库,为从万维网中抓取数据提供相关的接口。在使用python编写爬虫时经常会接触到这个库。
下面介绍一下urllib库中的一些方法及相应的实例。
urllib.urlopen(url[, data[, proxies]]) :
其中url参数表示远程的一个路径,data表示用于post方式传递到url的数据,proxies用于设置代理。该方法返回一个表示远程url的file-like对象。该对象拥有以下方法:
- read() , readline() , readlines() , fileno() ,close() :这些方法的使用方式与文件对象完全一样
- info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息
- getcode():返回http状态码。如200、404、403等。
- geturl():返回请求的url,因为有时候服务器会将client重定向至另一个url
实例:r=urllib.urlopen("http://www.baidu.com/") print 'http headers:',r.info() print 'http status:',r.getcode() print 'url:',r.geturl() print 'contents:',r.read()
urllib.urlretrieve(url[, filename[, reporthook[, data]]]):
urlretrieve方法直接将远程数据下载到本地。参数url表示远程文件的地址;参数filename指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);参数reporthook是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调,如可以利用这个回调函数来显示当前的下载进度。参数data指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。
urllib.urlencode(query[, doseq])
将dict或者包含两个元素的元组列表转换成url参数。例如 字典{'name': 'brink', 'age': 20}将被转换为"name=brink&age=20"
urllib.quote(string[,safe])
对字符串进行编码。参数safe指定了不需要编码的字符。 如: In [26]: urllib.quote("hello world")
Out[26]: 'hello%20world'
urllib.unquote(string)
对字符串进行解码
urllib.urlcleanup()
清空urltrieve()的缓存