python学习笔记-编码转化

unicode 中文和英文都占2个字节
ascii 用来存储英文的，占一个字节
如果用unicode来存储英文的话，那么本来1M的ascii文件就要变成2M。所以用可变长字符编码utf-8来存储，英文仍是以ascii形式存储，为1字节。中文的话就需要3个字节存储一个汉字。
因为py3中的字符串类似于py2中的str.decode(‘utf-8’)类型，所以py3的字符串只有encode方法（py3默认的编码格式是utf-8，py2是ascii）。
UTF-8编码：是对Unicode编码的压缩和优化，他不再使用最少使用2个字节，而是将所有的字符和符号进行分类：ascii码中的内容用1个字节保存、欧洲的字符用2个字节保存，东亚的字符用3个字节保存。

上图：第一行表示读取本py文件中的内容都是以utf-8读取的，如果将第5行的字符串转换成unicode,该str还是能正常显示；但是，在gbk模式下 那么unicode就不能正常显示了（这个gbk不知道是不是指在第一行加入#-- coding:gbk --，貌似这样写-- coding:gbk --不正确）。xshell的编码格式应该是终端显示的编码格式，并不能影响到在py脚本中的编码格式。（注：print(s_to_unicode，1)这样打印出的结果就是元祖形式了(u’\u4e2d\u6587’, 1)）

在py3中

先把文件转为gbk格式，然后就可以在第一行加入注释#coding:gbk。虽然文件是gbk格式，但是s字符串还是unicode格式，所以可以先编码成gbk模式，然后在解码成unicode模式就可以输出中文了。
py2x和py3x的区别

2和3对于unicode编码都不能用chardet.detect。因为2x的默认中文是utf-8形式，所以可以chardet.detect(str),3x的是unicode，不能用chardet.detect(str)。2x的utf-8和unicode都能正常显示中文，但是3x只有unicode能显示中文，如果编码成utf-8只能显示字节形式。
参考链接：http://www.cnblogs.com/luotianshuai/articles/5735051.html

python3新增byte类型