在Python
中,我们通常使用urllib
中的urlencode
方法将字典编码,用于提交数据给url
等操作,但是在Python2
和Python3
中urllib
模块中所提供的urlencode
的包位置有些不同
对于Python2
Python2
中提供了urllib
和urllib2
两个模块。
urlencode
方法所在位置为:
urllib.urlencode(values) # 其中values为所需要编码的数据,并且只能为字典
- 样例:
-
import urllib2 values = {"username":"962457839@qq.com","password":"XXXX"} data = urllib.urlencode(values) url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn" request = urllib2.Request(url,data) response = urllib2.urlopen(request) print response.read()
对于Python3
Python3
中也有urllib
和urllib3
两个库,其中urllib
几乎是Python2
中urllib
和urllib2
两个模块的集合,所以我们最常用的urllib
模块,而urllib3
则作为一个拓展模块使用。
urlencode
方法所在位置
urllib.parse.urlencode(values)
- 1
- 例如模拟登陆CSDN网站,示例程序如下:
from urllib import request
from urllib import parse
from urllib.request import urlopen
values = {'username': '962457839@qq.com', 'password': 'XXXX'}
data = parse.urlencode(values).encode('utf-8') # 提交类型不能为str,需要为byte类型
url = 'https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
request = request.Request(url, data)
response = urlopen(request)
print(response.read().decode())
关于python3详细介绍urllib
1. urllib.parse
1.1
urllib.parse.quote
在url中,是只能使用ASCII中包含的字符的,也就是说,ASCII不包含的特殊字符,以及中文等字符都是不可以在url中使用的。而我们有时候又有将中文字符加入到url中的需求,例如百度的搜索地址:
https://www.baidu.com/s?wd=东西
?之后的wd参数,则是我们搜索的关键词。那么我们实现的方法就是将特殊字符进行url编码,转换成可以url可以传输的格式,urllib中可以使用quote()
方法来实现这个功能。
from urllib import parse
key="东西"
code=parse.quote(key)
print(code) # %E5%8D%97%E5%8C%97%E8%A5%BF
如果需要将编码后的数据转换回来,可以使用unquote()方法。
print(parse.unquote(code))
C:\Python37\python.exe C:/Users/Administrator/PycharmProjects/pytestframe/pc/urllib_py3.py
%E5%8D%97%E5%8C%97%E8%A5%BF
南北西
Process finished with exit code 0
1.2 urllib.parse.urlencode
在访问url时,我们常常需要传递很多的url参数,而如果用字符串的方法去拼接url的话,会比较麻烦,所以urllib
中提供了urlencode
这个方法来拼接url参数。
params = {'wd': '南北', 'code': '1', 'height': '188'}
encode=parse.urlencode(params)
print(encode)
结果如下:
wd=%E5%8D%97%E5%8C%97&code=1&height=188
urlib在python3中发GET POST请求
import urllib.request
import urllib.parse
import urllib.error #url异常处理
GET方法
params = {'wd': '南北', 'code': '1', 'height': '188'}
encode=parse.urlencode(params)
url = "http://www.baidu.com/s?+encode
req=urllib.request.Request(url)
data=urllib.request.urlopen(req).read()
print(data.decode('utf-8','ignore')) #转为utf-8,如果出现异常,责忽略
fh=open("/Users/huangliao/Desktop/1.html","wb")
fh.write(data)
fh.close();
POST方法
keywd="python"
keywd=urllib.request.quote(keywd)
url="http://www.baidu.com/s"
data={"wd":"python"}
mydata=urllib.parse.urlencode(data).encode('utf-8')
req=urllib.request.Request(url,mydata)
data=urllib.request.urlopen(req).read().decode("utf-8")
print(data)
3 . urllib.error
在urllib
中主要设置了两个异常,一个是URLError
,一个是HTTPError
,HTTPError
是URLError
的子类。
HTTPError
还包含了三个属性:
- code:请求的状态码
- reason:错误的原因
- headers:响应的报头
例子:
In [1]: from urllib.error import HTTPError
In [2]: try:
...: request.urlopen('https://www.jianshu.com')
...: except HTTPError as e:
...: print(e.code)
403