python编码问题怎么解决_Python编码问题详解

1. 基本概念

字符集(Character set)

解释:文字和符合的总称

常见字符集:

Unicode字符集

ASCII字符集(Unicode子集)

GB2312字符集

编码方法(Encoding)

解释:将字符对应到字节的方法,部分字符集和编码方法名称一样。

常见编码方法:

UTF-8:可对Unicode字符进行编码

GB2312

ASCII

编码(Encode)

解释:将字符集中字符按照一定规则转换成字节

解码(Decode)

解释:与编码相反,将字节转换为字符集中的字符

字符集与编码方法的关系

每个字符集都有对应的编码方法

一种字符集可能有多种编码方法

不同的编码方法得到的字节不同,占用存储空间也不一样

例如Unicode字符可以使用UTF-8/ASCII/GBK等方法编码

Unicode字符集包含世界上大部分字符,很多其他字符集有的字符它都有,是他们的超集

大部分字符集可以理解为Unicode的子集

实际上,除了Unicode之外所谓的字符集主要是对Unicode部分字符编码而已(定义编码方式)

一种编码不必支持Unicode的所有字符(通常把它能支持的那部分称为它的字符集)

2. 关于编码的错误和解决方法

在开发过程中,我们所接触的字符集大多都是Unicode,大部分报错都是关于编码和解码的。

2.1. 编码错误UnicodeEncodeError

2.1.1. 错误分析

导致该错误的原因通常是编码方法支持的Unicode字符不全;在工作中,你写了一个txt中文文档,想用ascii编码去保存这个文件,就会报这种错误。

错误复现:

我们知道ascii不支持字符中,那我们用ascii编码方法对Unicode码中进行编码:

# -*- encoding: utf-8 -*-

u"中".encode(encoding='ascii')

报错如下:

UnicodeEncodeError: 'ascii' codec can't encode character '\u4e2d' in position 0: ordinal not in range(128)

这是一个UnicodeEncodeError 类型的错误,提示无法使用指定的编码方法对字符进行编码,报错提示中可以得到3个信息:

当前使用的是acsii编码方法

被编码的字符是'\u4e2d'

ascii编码方法能支持的字符有128个

有时候我们还可以利用这个提示查看编码方法支持的字符个数:

# -*- encoding: utf-8 -*-

u"中".encode(encoding='iso-8859-1')

报错:

UnicodeEncodeError: 'latin-1' codec can't encode character '\u4e2d' in position 0: ordinal not in range(256)

通过报错提示可以看出iso-8859-1能编256个字符。

接着,我们来看下用支持中文的utf-8 编码方法进行编码能得到什么结果:

# -*- encoding: utf-8 -*-

s = u"中".encode(encoding='utf-8')

print("s: ", s)

print("s == 中?" , s == '中')

print("type of s: ", type(s))

print("str==bytes? ", bytes == type(s))

输出:

('s: ', '\xe4\xb8\xad')

('s == \xe4\xb8\xad?', True)

('type of s: ', )

('str==bytes? ', True)

从输出的结果可以得到:

编码得到的对象跟我们直接定义的字符串是一样的,都是str

str就是bytes(python中)

2.1.2. 解决方法

UnicodeEncodeError 是说编码方法支持的字符不全,而UTF-8编码就能很好地对Unicode编码,所以只要把编码方法指定为utf-8就可以了。

在python2中:

如果你调用encode方法但没有指定encoding参数,那很可能使用了系统默认的参数,就像:

# -*- encoding: utf-8 -*-

import sys

print "default encoding is %s ." % sys.getdefaultencoding()

u'中'.encode()

输出:

default encoding is ascii .

UnicodeEncodeError: 'ascii' codec can't encode character u'\u4e2d' in position 0: ordinal not in range(128)

可以手动指定encoding参数,也可以修改python默认编码方法:

# -*- encoding: utf-8 -*-

import sys

reload(sys)

sys.setdefaultencoding('utf-8') # 必须在reload之后调用

print u'中'.encode()

在python3中:

在python3中你很难看到UnicodeEncodeError了,因为python3的默认编码就是utf-8,而Unicode字符都可以用utf-8编码方法编码。

2.2. 编码错误UnicodeDecodeError

2.2.1. 错误分析

导致该错误的原因是使用了错误的解码方式把字节数据还原成字符。例如在工作中,有一个utf-8生成中文文档,我们选择用ascii编码解码,就会报这个错。

错误复现:

我们知道python中字符串和字节是一样,我们可以定义一个中文字符串,通过ascii来解码生成Unicode,复现这个错误:

# -*- encoding: utf-8 -*-

print '中'.decode(encoding='ascii')

输出:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

注意,这是一个UnicodeDecodeError错误,区别于编码错误UnicodeEncodeError,它提示无法把字节0xe4(实际上中对应三字节,0xe4是第一个) 解码成Unicode。0xe4转换为10进制是228,已经超过127了,所以ascii无能力了。

2.2.2. 解决方法

我们需要知道生成字节的编码方式才能进行还原,就好像对一个文件进行了加密,必须得知道加密的密码才能把文件还原,而解码方式(或者称为编码)就是那个密码。 所以不管是python2还是python3直接去修改默认编码为UTF-8不一定能解决问题,具体的方法有两种:

通过源码找到解码失败的字节是使用那种编码生成的

对报错的字节数据使用各种常见的编码进行解码,观察哪一种是正确的

以一个例子来说明为什么直接设置默认编码为UTF-8不能有效解决UnicodeDecodeError问题

python文件头指定了编码为,在声明字符串时候将会使用指定的编码转换为字节:

# -*- encoding: GBK -*-

s = "张"

print ("s is ", s)

s_unicode = u'张'

print ("encoding with GBK is ", s_unicode.encode("GBK"))

print ("encoding with UTF-8 is ", s_unicode.encode("UTF-8"))

输出:

('s is ', '\xd5\xc5')

('encoding with GBK is ', '\xd5\xc5')

('encoding with UTF-8 is ', '\xe5\xbc\xa0')

在文件头中指定了GBK编码后默认情况下字符张就会被编码为\xd5\xc5,这与我们手动用GBK编码得到结果一致,而使用utf-8编码得到的是3个字节的数据\xe5\xbc\xa0(使用了更多的存储空间)。

例子开始了,在python2中将一个dict转换成json:

# -*- encoding: GBK -*-

import json

d = {'name': "张", 'sex': u'man'}

print (json.dumps(d))

输出:

UnicodeDecodeError: 'utf8' codec can't decode byte 0xd5 in position 0: invalid continuation byte

错误说无法使用utf-8解码0xd5,0xd5也就是GBK中的张,我们知道这个字节是用GBK生成的,这个时候可以设置json.dumps的encoding参数解决:

# -*- encoding: GBK -*-

import json

d = {'name': "张", 'sex': u'man'}

print (json.dumps(d, encoding='gbk'))

修改一下代码,继续使用我们熟悉的utf-8编码来执行:

# -*- encoding: utf-8 -*-

import json

d = {'name': "张", 'sex': u'man'}

print (json.dumps(d, encoding='utf-8'))

输出:

{"name": "\u5f20", "sex": "man"}

发现name是unicode,使用ensure_ascii=False,不强制转换成ascii:

# -*- encoding: utf-8 -*-

import json

d = {'name': "张", 'sex': u'man'}

print (json.dumps(d, encoding='utf-8', ensure_ascii=False))

输出:

File "/usr/local/Cellar/python@2/2.7.15_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/json/__init__.py", line 251, in dumps

sort_keys=sort_keys, **kw).encode(obj)

File "/usr/local/Cellar/python@2/2.7.15_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/json/encoder.py", line 210, in encode

return ''.join(chunks)

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 1: ordinal not in range(128)

纳尼,文件头也是utf-8,也指定了utf-8怎么还是报错?错误提示用ascii去解码0xe5字节,在上面的代码输出中可以知道0xe5是utf-8对字符张编码的第一个字节 ,报错的原因是用ascii去解析utf-8生成的字节了。我们并没有设置哪个地方使用ascii解码,应该是系统默认的编码,尝试设置系统默认编码再执行:

# -*- encoding: utf-8 -*-

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

import json

d = {'name': "张", 'sex': u'man'}

print (json.dumps(d, encoding='utf-8', ensure_ascii=False))

输出:

{"name": "张", "sex": "man"}

3. 总结

3.1. python2和python3对字符串的处理区别

Python2

默认编码是ascii

Python3

默认编码为utf-8

不能使用import sys;sys.setdefaultencoding('utf-8')设置默认编码

Unicode和str都用字符串表示了

3.2. 为什么不全用UTF-8编码?

UTF-8包含的字符更多,占用的内存和磁盘空间也更大,比如对汉字张,utf-8是3个字节,gbk是2个字节。

3.3. 如何快速解决UnicodeEncodeError错误?

python3中基本不会出现,python2中尝试设置默认编码为utf-8。

3.4. 快速解决UnicodeDecodeError?

需要知道出错的字节是使用哪种编码方式生成的,然后尝试把默认编码设置成这种。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,独热编码是一种常用的数据处理方式,主要用于深度学习中的分类任务。它将每个类别都转换为一个向量,向量的长度为类别总数,向量中只有对应类别的位置上是1,其余位置都是0。这样的处理方式可以让模型更好地理解类别之间的关系,提高模型的分类精度。 下面是python实现独热编码的代码: ```python import numpy as np def one_hot_encoding(labels, num_classes): """ :param labels: 标签列表 :param num_classes: 类别总数 :return: 独热编码矩阵 """ one_hot = np.zeros((len(labels), num_classes)) for i, label in enumerate(labels): one_hot[i][label] = 1 return one_hot ``` 这个函数接收两个参数:标签列表和类别总数。它首先创建一个全零矩阵,矩阵的行数等于标签列表的长度,列数等于类别总数。然后遍历标签列表,将矩阵中对应位置设置为1。最后返回独热编码矩阵。 使用这个函数很简单,只需要将标签列表和类别总数传入即可。例如,假设我们有一个包含10个样本的数据集,共有3个类别,标签分别为0、1、2。那么可以这样调用函数: ```python labels = [0, 1, 2, 0, 1, 2, 0, 1, 2, 0] num_classes = 3 one_hot = one_hot_encoding(labels, num_classes) print(one_hot) ``` 输出结果为: ``` [[1. 0. 0.] [0. 1. 0.] [0. 0. 1.] [1. 0. 0.] [0. 1. 0.] [0. 0. 1.] [1. 0. 0.] [0. 1. 0.] [0. 0. 1.] [1. 0. 0.]] ``` 可以看到,函数成功地将标签列表转换成了独热编码矩阵。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值