编码那些事

1.ASXII：美国信息交换标准码（American Standard Code for Information Interchange,简称ASCII）是一种用户信息交换的美国标准代码，它的作用是给英文字母、数字、标点、字符转换成计算机能识别的二进制数规定了一个大家都认可并遵守的标准。

2.GB2312编码：适用于汉字处理、汉字通信等系统之间的信息交换

3.GBK编码：是汉字编码标准之一，是在GB2312-80标准基础上的内码扩展规范，使用了双字节编码

4.ANSI是与你使用的windows操作系统的语言有关系的，向windows7简体中文版就是GBK（用一个字节表示英文，用两个字节表示一个中文）

5.Unicode编码：这是一种世界上所有字符的编码，但是它没有规定的存储方式。

6.Unicode标准也在不断发展，但最常用的是用两个字表示一个字符（如果用到非常偏僻的字符，就需要4个字节）。

现代操作系统和大多数编程语言都支持Unicode。

7.UTF-8编码：是Unicode Transformation Formaat-8 bit的缩写，UTF-8是Unicode的一种实现方式。它是可变长的编码方式，可以使用1-4个字节表示一个字符，可根据不同的符号而变化字节长度。

 

首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312’)，表示将gb2312编码的字符串转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode(‘gb2312’)，表示将unicode编码的字符串转换成gb2312编码。

 

CHARDET查看字符串的编码

>>> import chardet
>>> a="你好"
>>> chardet.detect(a)
{'confidence': 0.3598212120361634, 'language': 'Thai', 'encoding': 'TIS-620'}

转载于:https://www.cnblogs.com/zqq521/p/7136983.html