python urllib 模块使用小结

python urllib 模块使用小结

urllib 提供了一个高级的 Web 交流库，支持 Web 协议，HTTP， FTP 和 Gopher 协议，同时也支持对本地文件的访问。urllib 模块的特殊功能是利用上述协议下载数据。使用这个模块可以避免使用httplib，ftplib 和 gopherlib 这些模块，除非你想用更低层的功能。
安装：

pip install urllib

功能包括 urlopen(), urlretrieve(), quote(),unquote(), quote_plus(), unquote_plus(), 和 urlencode() 等。

函数	urlopen()
功能	打开一个给定 URL 字符串与 Web 连接，并返回了文件类的对象
语法结构	urlopen(urlstr, postQueryData=None)
说明	urlopen()打开 urlstr所指向的 URL。如果没有给定协议或者下载规划，或者文件规划早已传入，urlopen()则会打开一个本地的文件。一旦连接成功，urlopen() 将会返回一个文件类型对象，就像在目标路径下打开了一个可读文件。支持可读方法如：f.read(), f.readline(), f.readlines(), f.close(),和 f.fileno()

---

函数	urlretrieve()
功能	将 urlstr 定位到的整个HTML 文件下载到你本地的硬盘上
语法结构	urlretrieve(urlstr, localfile=None, downloadStatusHook=None)
说明	urlretrieve()返回一个 2-元组，(filename, mime_hdrs).filename 是包含下载数据的本地文件名，mime_hdrs 是对Web 服务器响应后返回的一系列 MIME 文件头。要获得更多的信息，可以看mimetools 的 Message 类。对本地文件来说 mime_hdrs 是空的。

---

函数	quote() / quote_plus()
功能	获取 URL 数据，并将其编码，从而适用于 URL 字符串中
语法结构	quote(urldata, safe=’/’)
说明	逗号，下划线，句号，斜线和字母数字这类符号是不需要转化。其他的则均需要转换。当调用 quote*()时，urldata 字符串被转换成了一个可在 URL 字符串中使用的等价值。quote_plus 可以将空格编码成+号

---

函数	unquote() / unquote_plus()
功能	将所有编码为“%xx”式的字母都转换成它们的 ASCII 码值
语法结构	unquote(urldata)
说明	调用 unquote()函数将会把 urldata 中所有的 URL-编码字母都解码，并返回字符串。Unquote_plus()函数会将加号转换成空格符。

---

函数	urlencode()
功能	接收字典的键-值对，并将其编译成 CGI 请求的 URL 字符串的一部分。键值对的格式是“键=值”,以连接符(&)划分。
语法结构
说明