字符编码问题的辨析

字符集与字符编码方案

字符集是指unicode、GB2312（中）、ASCll（美）等用来表示字符的协议，每个字符都有其特定的编码

由于各国编码不一致，采用unicode对世界编码进行统一

ASCII 中的字符在 Unicode 中有相同的码点

关于字符编码方案

字符集只确定了字符的表示方式，如果字符需要存储，那么字符之间还要有分隔，需要将分隔表示出来，所以就有了字符编码方案

UTF-8是Unicode的一种实现方式，是一种可变长度编码，可以表示世界上几乎所有的字符，包括各种语言的字母、符号、表情符号等。

python内部编码为unicode

encode：编码：将unicode转换成其他编码。

decode：解码：将其他编码解码成unicode

"Hello World".encode("utf-8") 将字符串编码为 UTF-8 编码的字节对象。

b'\xe4\xbd\xa0\xe5\xa5\xbd'.decode("utf-8") 将 UTF-8 编码的字节对象解码为字符串对象。

content=u'你好' #Unicode格式字符串
 
f1=open('test.txt', 'w')
info1 = content.encode('GBK') #写入时，编码为GBK
f1.write(info1)
f1.close()
 
f2 = open('test.txt', 'r')
info2 = f2.read().decode('GBK') #读取时，已知GBK，解码为Unicode