在windows系统下,我们使用python2进行中文字符转码时会经常遇到下述错误
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
示例演示
C:\Users\lenovo>python
Python 2.7.15rc1 (v2.7.15rc1:bad9a580ca, Apr 14 2018, 23:35:53) [MSC v.1500 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> s = "我用python"
>>> s.encode("utf8")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
>>>
原因分析
(1)首先当我们对中文字符进行utf8
编码时,必须保证该中文字符对象是unicode
编码格式,我们查询一下windows
下python2
默认编码格式。
C:\Users\lenovo>chcp
活动代码页: 936
(2)我们发现windows
下python2
默认编码是GBK
编码格式,所以报错,此时我们需要手动将其转换为unicode
编码,然后再将其转换为utf8
编码格式。
>>> s = "我用python"
>>> s.decode("gb2312").encode("utf-8")
'\xe6\x88\x91\xe7\x94\xa8python'
(3)在python2
中我们通常在中文字符前加u
,使其成为unicode
编码,方便我们转码
>>> s = u"我用python"
>>> s.encode('utf-8')
'\xe6\x88\x91\xe7\x94\xa8python'