urllib库使用(1)

urlopen函数

urlopen(urlstr, postQueryData=None)
urlopen()将会返回一个文件类型对象，就像在目标路径下打开了一个可读文件。如文件对象是f，那么“句柄”会支持一些读取内容的方法，如f.read()，f.readline()，f.readlines()，f.close()和getcode()等。

from urllib import request

url = 'https://www.baidu.com/'
resp = request.urlopen(url)print(resp.read())

urlretrive函数

这个函数可以方便的将网页上的一个文件保存到本地。保存图片的示例代码如下。

from urllib import request

img_url = 'http://img.php.cn/upload/article/...'
request.urlretrieve(img_url,"img.jpg")

urlencode函数

urlencode可以把字典数据转换为URL编码的数据。

from urllib import parse

aDict = {'name':'爬虫','time':'17:37'}
resp = parse.urlencode(aDict)
print(resp)
#name=%E7%88%AC%E8%99%AB&time=17%3A37

parse_qs函数

可以将经过编码后的url参数进行解码。

from urllib import parse

a_str = 'name=%E7%88%AC%E8%99%AB&time=17%3A37'
result = parse.parse_qs(a_str)
print(result)

urlparse函数

对url中的各个组成部分进行分割。

url = 'https://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB&rsv'
result = parse.urlparse(url)
print(result)
print(result.scheme)

#ParseResult(scheme='https', netloc='www.baidu.com', path='/s', params='', query='wd=%E7%88%AC%E8%99%AB&rsv', fragment='')
#https