urllib在python2和python3区别变动

Python中,我们通常使用urllib中的urlencode方法将字典编码,用于提交数据给url等操作,但是在Python2Python3urllib模块中所提供的urlencode的包位置有些不同

对于Python2

Python2中提供了urlliburllib2两个模块。

  • urlencode方法所在位置为:
urllib.urlencode(values)    # 其中values为所需要编码的数据,并且只能为字典
  • 样例:
  • import urllib2
    
    values = {"username":"962457839@qq.com","password":"XXXX"}
    data = urllib.urlencode(values) 
    url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
    request = urllib2.Request(url,data)
    response = urllib2.urlopen(request)
    print response.read()

 对于Python3

Python3中也有urlliburllib3两个库,其中urllib几乎是Python2urlliburllib2两个模块的集合,所以我们最常用的urllib模块,而urllib3则作为一个拓展模块使用。

  • urlencode方法所在位置
urllib.parse.urlencode(values)
  • 1
  • 例如模拟登陆CSDN网站,示例程序如下:
from urllib import request
from urllib import parse
from urllib.request import urlopen

values = {'username': '962457839@qq.com', 'password': 'XXXX'}
data = parse.urlencode(values).encode('utf-8')  # 提交类型不能为str,需要为byte类型
url = 'https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
request = request.Request(url, data)
response = urlopen(request)
print(response.read().decode())

 关于python3详细介绍urllib

1.  urllib.parse

1.1

urllib.parse.quote

在url中,是只能使用ASCII中包含的字符的,也就是说,ASCII不包含的特殊字符,以及中文等字符都是不可以在url中使用的。而我们有时候又有将中文字符加入到url中的需求,例如百度的搜索地址:

https://www.baidu.com/s?wd=东西

?之后的wd参数,则是我们搜索的关键词。那么我们实现的方法就是将特殊字符进行url编码,转换成可以url可以传输的格式,urllib中可以使用quote()方法来实现这个功能。

from urllib import parse
key="东西"
code=parse.quote(key)
print(code) # %E5%8D%97%E5%8C%97%E8%A5%BF
如果需要将编码后的数据转换回来,可以使用unquote()方法。
print(parse.unquote(code))

C:\Python37\python.exe C:/Users/Administrator/PycharmProjects/pytestframe/pc/urllib_py3.py
%E5%8D%97%E5%8C%97%E8%A5%BF
南北西

Process finished with exit code 0
 

1.2 urllib.parse.urlencode

在访问url时,我们常常需要传递很多的url参数,而如果用字符串的方法去拼接url的话,会比较麻烦,所以urllib中提供了urlencode这个方法来拼接url参数。

params = {'wd': '南北', 'code': '1', 'height': '188'}
encode=parse.urlencode(params)
print(encode)

结果如下:

wd=%E5%8D%97%E5%8C%97&code=1&height=188

urlib在python3中发GET POST请求

import  urllib.request
import  urllib.parse
import  urllib.error #url异常处理
 
GET方法
params = {'wd': '南北', 'code': '1', 'height': '188'}

encode=parse.urlencode(params)
url = "http://www.baidu.com/s?+encode
req=urllib.request.Request(url)
data=urllib.request.urlopen(req).read()
print(data.decode('utf-8','ignore')) #转为utf-8,如果出现异常,责忽略
fh=open("/Users/huangliao/Desktop/1.html","wb")
fh.write(data)
fh.close();
 
 
POST方法
keywd="python"
keywd=urllib.request.quote(keywd)
url="http://www.baidu.com/s"

data={"wd":"python"}
mydata=urllib.parse.urlencode(data).encode('utf-8')
req=urllib.request.Request(url,mydata)
data=urllib.request.urlopen(req).read().decode("utf-8")
print(data)

 

3 .  urllib.error

urllib中主要设置了两个异常,一个是URLError,一个是HTTPErrorHTTPErrorURLError的子类。

HTTPError还包含了三个属性:

  • code:请求的状态码
  • reason:错误的原因
  • headers:响应的报头

例子:

In [1]: from urllib.error import HTTPError

In [2]: try:
   ...:     request.urlopen('https://www.jianshu.com')
   ...: except HTTPError as e:
   ...:     print(e.code)

403

相关参考https://www.jianshu.com/p/f05d33475c78

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值