02. Python 中文乱码问题处理以及常用的编码

目录

常用编码介绍

=> ASCII

=> IOS8859-1

=> GB2312

=> GBK

=> GB18030

=> Unicode(万国码)

=> UTF-8

中文乱码问题


常用编码介绍

在操作文本文件时, 经常会操作中文, 这时候就经常会碰到乱码问题;

=> ASCII

全称为American Standard Code for Information Interchange , 美国信息交换标准代码, 这是世界上最早最通用的单字节编码系统, 主要用来显示现代英语及其他西欧语言;

ASCII码用7位表示, 只能表示128个字符(英语26个字母足够了); 只定义了27=128个字符, 用7bit即可完全编码, 而一字节8bit的容量256, 所以一字节ASCII的编码最高位总是0 ;

0~31表示控制字符如回车, 退格, 删除等; 21~126表示打印字符即可以通过键盘输入并且能显示出来的字符; 其中48~57位0到9十个阿拉伯数字, 65~90为26个大写英文字母, 97~122为26个小写英文字母, 其余为一些标点符号, 运算符号等; 具体可以参考ASCII标准表( 细节见百度 );

=> IOS8859-1

ISO-8859-1又称Latin-1, 是一个8位单字节字符集, 它把ASCII的最高位也利用起来, 并兼容了ASCII, 新增的空间是128(共256个字符), 但它并没有完全用完;

在ASCII编码之上又增加了西欧语言, 希腊语, 泰语, 阿拉伯语, 希伯来语对应的文字符号, 它是向下兼容ASCII编码;

=> GB2312

GB2312 全称为信息交换用汉字编码字符集,是中国于 1980 年发布,主要用于计算机系统中的汉字处理。GB2312 主要收录了 6763 个汉字、682 个符号。

GB2312覆盖了汉字的大部分使用率,但不能处理像古汉语等特殊的罕用字,所以后来出现了像 GBK、GB18030 这种编码。

GB2312 完全兼容 ISO8859-1。

=> GBK

全称为 Chinese Internal Code Specification,即汉字内码扩展规范,于 1995 年制定。

它主要是扩展了 GB2312,在它的基础上又加了更多的汉字,它一共收录了 21003 个汉字

=> GB18030

现在最新的内码字集于 2000 年发布,并于 2001 年强制执行,包含了中国大部分少数民族的语言字符,收录汉字数超过 70000 余个。

它主要采用单字节、双字节、四字节对字符编码,它是向下兼容 GB2312 和 GBK 的,虽然是我国的强制使用标准,但在实际生产中很少用到,用得最多的反而是 GBK 和 GB2312 ;

=> Unicode(万国码)

Unicode 编码设计成了固定两个字节,所有的字符都用 16 位(2^16=65536) 表示,包括之前只占 8 位的英文字符等,所以会造成空间的浪费,UNICODE 在很长的一段时间内都没有得到推广应用。

Unicode 完全重新设计,不兼容 iso8859-1,也不兼容任何其他编码。

=> UTF-8

对于英文字母,unicode 也需要两个字节来表示。所以 unicode 不便

于传输和存储。因此而产生了 UTF 编码,UTF-8 全称是(8-bit Unicode

Transformation Format)。

UTF 编码兼容 iso8859-1 编码,同时也可以用来表示所有语言的字符,

不过,UTF 编码是不定长编码,每一个字符的长度从 1-4 个字节不等。其中,

英文字母都是用一个字节表示,而汉字使用三个字节

【老鸟建议】一般项目都会使用 UTF-8。unicode 中虽然汉字是两个字节,

UTF-8 中汉字是 3 个字节。但是互联网中一个网页也包含了大量的英文字母,

这些英文字母只占用 1 个字节,整体占用空间,UTF-8 仍然小于 Unicode ;

中文乱码问题

windows 操作系统默认的编码是 GBK,Linux 操作系统默认的编码是 UTF-8。当我们用 open()时,调用的是操作系统打开的文件,默认的编码是 GBK;     

乱码只存在中文之间, 就是中文解码和编码的编码不一致; 必须保持一致;

#文本写入操作乱码测试
f = open("a.txt","a",encoding="utf-8")  #可以直接规定编码格式
s = "好好学习\n天天向上\n";
f.write(s)
f.close()

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值