字符编码在python中的处理与储存_字符编码和文件处理

1.字符编码介绍

运行程序的三个核心硬件: CPU, 内存, 硬盘

任何一个程序要想运算,必先由硬盘加载到内存, 然后CPU在内存中存取并执行,运行着的应用程序产生的数据,必先存在内存

Python解释器运行py文件步骤

1. 将Python解释器的代码由硬盘读到内存

2. 将py文件以普通文本形式读到内存

3. Python读取文件内容,识别Python语法,执行相应的操作

ps: 普通的文本编辑器与Python解释器前两步是一样的

不同的是第三步普通文本将文本内容展示给用户看

a.什么是字符编码？

字符编码是针对文字，跟文本文件有关，人在操作计算机时输入的是人能看懂的字符，计算机能识别的0101这样的二进制数据。

b.字符编码发展分为三个阶段

阶段一：现代计算机起源于美国，最早诞生也是基于英文考虑的ASCII

阶段二:为了满足中文和英文，中国人定制了GBK。用2个Bytes表示一个中文字符，1个Byte表示一个英文字符。

c.阶段三：万国码的出现，与全世界所有的字符编码都有映射关系，这样就可以转换成任意国家的字符编码

总结：内存中统一使用unicode，浪费空间来换取可以转换成任意编码(不乱码)，硬盘可以采用各种编码，如utf-8，保证存放于硬盘或者基于网络传输的数据量很小，提高传输效率与稳定性。

内存中编码统一使用unicode.数据由内存读到硬盘，内存中的unicode格式的二进制编码成硬盘中二进制的utf-8格式。从硬盘读取到内存，硬盘中的二进制utf-8格式解码到内存中unicode格式二进制。

2.文件处理

a.在python中

1). 打开文件，得到文件句柄并赋值给一个变量

f=open('a.txt','r',encoding='utf-8')#默认打开模式就为r(表示只读)

2).通过语柄对文件进行操作

data = f.read()

3).关闭文件

f.close()

b.强调

1).打开一个文件包含两部分资源：操作系统级打开的文件+应用程序的变量。在操作完毕一个文件时，必须把与该文件的这两部分资源一个不落地回收，回收方法为

f.close()   回收操作系统级打开文件

del f        回收应用程序级的变量

其中del f一定发生在f.close()之后，否则会导致操作系统打开的文件还没有关闭，白白浪费资源，而python自动的垃圾回收机制决定了我们无需考虑del f,这就要求我们记住f.close()。

2).f = open(...)是操作系统打开文件，如果我们没有为open指定代码，打开文件编码当然是默认系统说了算，操作系统会用自己的方式打开文件，在windows是gbk,在linux下位utf-8。

c.打开文件模式

1).打开文件的模式有(默认为文本模式)

r,   只读模式  【默认模式，文件必须存在，不存在则抛出异常】

w, 只写模式   【不可读；不存在则创建；存在则清空前一步写的内容】

a, 只追加模式   【不可读；不存在则创建；存在则只追加内容】

2).对于非文本文件，我们只能用b模式，‘b’表示以字节的形式操作(所有的文件都是以字节来存储的，使用这种模式无需考虑文本文件的字符编码，图片文件的jpg模式，视频文件的avi模式)

rb

wb

ab

以b方式打开时，读取到的内容为字节类型，写入时也需要提供字节类型，不能指定编码。

d.操作文件的方法

f.read()    读取所有内容，光标移动到文件末尾

f.readline()     读取每一行内容，光标移动到第二行首部

f.readlines()      读取每一行内容，存放于列表中

f.readable()     文件是否可读

f.writable()       文件是否可写

f.flush()            立刻将文件内容从内存刷到硬盘

e.文件内光标移动

read(3)

文件打开为文本模式，代表读取3个字符，文件打开方式为b模式时，代表读取3个字节