引入
字符串类型,文本文件类型内容都是由字符串组成的,但凡涉及到字符的存取,都需要考虑字符编码的问题。
字符编码的这个知识点的典型特征就是理论多,结论少,但对于开发而言只需要记住揭露即可,下面来让我们来一点点的介绍
知识储备
三大核心硬件
所有软件都是运行硬件之上的,与运行软件相关的三大核心硬件为cpu,内存,硬盘,我们需要明确三点、
1.软件运行前,软件的代码及其相关数据都是存放于硬盘中的
2.任何软件的启动都是将数据从硬盘中读入内存,再由cpu从内存中取出指令并执行
3.软件运行过程中产生的数据都是最先存放在内存之中的,想要永久保存产生的数据,需要将产生的数据写入硬盘
文本编辑器读取文件内容的流程
阶段1:启动一个文件编辑器
阶段2:文件编辑器会将文件内容从硬盘读入内存
阶段3:文本编辑器会将刚刚读入内存中的内容显示到屏幕上
字符编码介绍
字符编码的前提:它只跟字符类型和文本类型相关,跟视频文件,音频文件,图片文件等无关
计算机内部只认识二进制,计算机之所以能够认识各种各样的字符,那是因为计算机内部维护着一张字符编码表
字符编码表:一些字符和数字之间的对应关系
字符编码的发展史
阶段一:一家独大
计算机最开始是美国人研究的,他们想让计算机能够识别英文字符,于是产生了ASCII表
ASCII表的特点:
1.只有英文字符和数字的一一对应关系
2.一个英文字符对应1Bytes,1Bytes=8bit,8bit最多包含256个数字,可以对应256个字符,足够表示所有英文字符
需要记忆的ASCII表:
A-Z: 65-96
a-z:97-
0-9:48-
阶段二:群雄割据
为了让计算机能够识别中文和英文,中国人定制了GBK
GBK表的特点:
1.它的内部记录了英文,中文和数字之间的对应关系
2.一个英文字符对应1Bytes
一个中文字符对应2Byte(16位)
每个国家都各自的字符,为让计算机能够识别自己国家的字符外加英文字符,各个国家都制定了自
各个国家都制定了自己的字符编码表
Shift_JIS表的特点:
只有日文字符、英文字符与数字的一一对应关系
Euc-kr表的特点:只有韩文字符、英文字符与数字的一一对应关系
阶段三:天下一统
为了让全世界的人都能够统一使用计算机识别全世界的语言,把字符编码表统一了这就产生了unicode(万国码),unicode统一使用的是2个字节来保存字符
如果是英文字符----》1个字节保存一个英文字符------》万国码中使用2个字节保存英文字符----》
这就造成了空间的浪费
优化
从内存中得万国码到硬盘中得utf-8字符
utf-8就是大家统一使用的一种编码
1.它统一使用一个字节来保存英文字符
2.统一使用三个字节来保存中文字符
utf系列:
utf-8
utf-16
utf8mb4:能够存储表情
字符编码的实战
1.如何解决乱码的问题?
在写文件时使用的是什么编码,那么你打开的时候就使用对应编码解码就行
2.Python解释器版本不同代码的编码问问题
在python2中使用的编码表不是utf-8,而是ASCII码表
在python2中如何定义中文字符
s = u'你好'
print s
3.如何编码和解码
编码:把人类能够读懂的字符转换为计算机能够识别的数字(二进制)
# 编码
res = '趁年轻,学技能,养活自己'
res = '趁年轻'
print(res.encode('utf-8')) # b'\xe8\xb6\x81\xe5\xb9\xb4\xe8\xbd\xbb' bytes
解码:把计算机能够读懂的语言转换为人能够读懂的字符
# 解码
res1 = res.encode('utf-8')
print(res1.decode('utf-8')) # 趁年轻
如果遇到解码问题的时候,你不指定使用什么编码进行解码,你就试:utf-8 gbk