一、ASCII码
ASCII码 表示127个英文字符每个中文需要使用两个字节来编码,中文编码的规则 —— GB2312 由于不同国家有不同的编码规则,如日本,韩国都使用各自国家的编码规则,在多语言混用的场合会出现混乱。
二、Unicode码
Unicode 用来把所有语言都统一到一套编码里,这样就不会再有乱码问题了。Unicode 通常用两个字节编码(有的也用四个字节),而ASCII码通常用一个字节字节。ASCII码转换成Unicode在前面一个字节补0
三、UTF-8码
UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间。UTF-8的一个好处在于,原有的ASCII的编码可以在UTF-8下继续工作。
四、总结
-
在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。
-
用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件:rw-file-utf-8
-
浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器:web-utf-8
所以你看到很多网页的源码上会有类似的信息,表示该网页正是用的UTF-8编码。首先要搞清楚,字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
1.decode:其它码–>unicode
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串转换成unicode编码。
2.encode:unicode–>其它码
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312’),表示将unicode编码的字符串转换成gb2312编码。