【python-文本系列】常用编码介绍（番外---文件编码问题）

常用编码介绍

          在操作文本文件时，经常会操作中文，这时就会经常碰到乱码问题：

          常用的编码之间的关系如下：

ASCII编码

           全称为    American Standard Code Information Interchange,美国信息交换标准代码，这时世界上最早最通用的单字节编码系统，主要用来显示现代英语以及其他西欧语言。

           ASCII码用7位表示，只能表示128个字符，只定义了2^7=128个字符，用7bit即可完全编码，而一字节8bit的容量是256，所以一字节ASCII的编码最高位总是0.

          0～31表示控制字符如：回车、退格、删除等；32～126表示打印字符即可以通过键盘输入并且能显示出来的字符，其中48～57为0到9十个阿拉伯数字，65～90为26个大写字母，97～122号为26个小写英文字母，其余为一些标点符号、运算符号等，具体可以参考ASCII标准表（如需想要深入了解，自行百度）

ISO8859-1

           ISO-8859-1又称为Latin-1,是一个8位单字节字符集，它把ASCII的最高位也利用起来，并兼容了ASCII，新镇的空间是128，但它并没有完全用完。

           在ASCII编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号，他是向下兼容ASCII编码。

GB2312,GBK,GKB18030

• GBK2312

        GBK2312全称为信息交换用汉字编码字符集，是中国于1980年发布，主要用于计算机系统中汉字处理，GBK2312主要收录了6763个汉字、682个符号。

        GBK2312覆盖了汉字的大部分使用率，但不能处理像古汉语等特殊的罕用字，所以后来出现了像GBK，GB18030。

• GBK

        全称为Chinese Internal Code Specification,既汉字内码扩展规范，于1995年制定。它主要是扩展了GB2312，在它的基础上又加了更多的汉字，一共收录了21003个汉字。

• GB18030

        现在最新的内码字集于2000年发布，并与2001年强制执行，包含了中国大部分少数民族的语言字符，收录汉字数超过70000余个。

        主要表现用于单字节、双字节、四字节对字符编码，它是向下兼容GB2312和GBK的，虽然是我国的强制使用标准，但在实际生产中很少用到，用得最多反而是GBK和GBK2312

Unicode

        Unicode编码设计成固定两个字节，所有的字符都用16位（2^16=65536),表示，包括之前只占8位的英文字符等，所以会造成空间的浪费，UNICODE在很长的一段时间内都没有得到推广应用。

        Unicode完全重新设计，不兼容iso8859-1，也不兼容任何其他编码。

UTF-8

       对于英文字母，unicode也需要两个字节来表示，所以unicode不便于传输和存储，因此而产生了utf编码，utf-8全称为：8-bit Unicode Transformaation Format

       UTF编码兼容iso8859-1编码，同时也可以用来表示语言的字符，不过，UTF编码是不定长编码，每一个字符的长度从1-4个字节不等，其中，英文字母都是用一个字节表示，而汉字是三个字节表示。

【建议】一般项目都会使用UTF-8，unicode中虽然汉字是两个字节，UTF-8中汉字是3个字节，但在互联网中一个网页也包含了大量的英文字母，这些英文字母只占1个字节，整体占用空间。python默认用的是unicode。

中文乱码问题

windoes操作系统默认的编码是GBK，Liunx操作系统默认是UTF-8，当我们用open()时，调用的是操作系统打开的文件，默认的编码是GBK。

【示例】

#测试写入中文
f=open(r"b.txt","w")
f.write("你好撒\n关注一下呗\n比心“）
f.close()

上面执行返回的编码默认是GBK，打开b.txt文件是乱码

#测试写入中文
f=open(r"b.txt","w"，encoding='utf-8')
f.write("你好撒\n关注一下呗\n比心“）
f.close()

大家试试吧！！！