python编码

计算机只能处理数字, 文本转换成数字才能处理, 计算机中8 bit作为一个字节,一个字节最大的数字就是 255

python2默认ASCII编码,

python3默认是Unicode编码

Windows中文地区默认是gb2312

Linux默认为utf-8

计算机是美国人发明的,一个字节可以表示素有字符,

ASCII处理中文是不够的,中文不止255个汉字, 所以出现了GB2312编码, 用两个字节表示一个汉字. GB2312把ASCII也包含进去了, 同理日文韩文都发展了自身的编码,标准越来越多,多种语言混合造就了肯定无法兼容的现象

于是Unicode出现了,将所有语言统一到一套编码里

但是如果内容全是英文, Unicode编码比ASCII需要多进一倍的存储空间, 传输也需要多一倍的传输

所以就出现了可变长的编码’utf-8’, 把英文边长一个字节, 汉字就三个字节,特别生僻的变成4-6字节, 如果传输大量的英文, utf8作用就非常明显了

在python2里,定义一个字符串最好在前面加u
比如: u’我爱python’ 定义的就是Unicode字节

decode()将当前字符串变成Unicode
encode()将当前unic变成utf-8

一般是先decode(‘自身编码格式’)在encode(‘utf-8’)

调用encode(‘urf-8’)必须先decode()成Unicode

# python3, 默认为Unicode,不用decode,直接encode即可
a = '我爱python'

# 将unicode转换成utf-8
a.encode('utf-8')
# b'\xe6\x88\x91\xe7\x88\xb1python'

# 将utf-8转换成Unicode,decode指明自身编码格式
a.decode('utf-8')
# '我爱python'

# python2, 默认ASCII编码,加u变成Unicode
a = u'我爱python'
# '\xe6\x88\x91\xe7\x88\xb1ptyhon'

# Unicode转换成utf-8
a.encode('utf-8')
# '\xe6\x88\x91\xe7\x88\xb1ptyhon'

# utf-8转换成Unicode
a.decode('utf-8')
# u'\u6211\u7231ptyhon'