第二部分 Python提高—文件处理（一）

一个完整的程序一般都包括数据的存储和读取；我们在前面写的程序数据都没有进行实际的存储，因此python解释器执行完数据就消失了。实际开发中，我们经常需要从外部存储介质（硬盘、光盘、U盘等）读取数据，或者将程序产生的数据存储到文件中，实现“持久化”保存。

其实，很多软件系统是将数据存储的数据库中；数据库实际也是基于文件形式存储的，本章我们就学习文件的相关操作。

文本文件和二进制文件

1 文本文件
文本文件存储的是普通“字符”文本，python默认为unicode 字符集（两个字节表示一个字符，最多可以表示：65536个），可以使用记事本程序打开。

2 二进制文件
二进制文件把数据内容用“字节”进行存储，无法用记事本打开。必须使用专用的软件解码。常见的有：MP4视频文件、MP3音频文件、JPG图片、doc文档等等。

文件操作相关模块概述

名称	说明
io	模块文件流的输入和输出操作 input output
os	模块基本操作系统功能，包括文件操作
glob	模块查找符合特定规则的文件路径名
fnmatch	模块使用模式来匹配文件路径名
fileinput	模块处理多个输入文件
filecmp	模块用于文件的比较
csv	模块用于csv文件处理
pickle和cPickle	用于序列化和反序列化
xml	包用于XML数据处理
bz2、gzip、zipfile、zlib、tarfile	用于处理压缩和解压缩文件（分别对应不同的算法）

创建文件对象open()

open() 函数用于创建文件对象，基本语法格式如下：

open(文件名[,打开方式])

如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如： D:\a\b.txt
为了减少\ 的输入，可以使用原始字符串： r“d:\b.txt” 示例如下：f = open(r"d:\b.txt","w")
打开方式有如下几种：

模式	描述
r	读 read模式
w	写 write模式。如果文件不存在则创建；如果文件存在，则重写新内容；
a	追加append模式。如果文件不存在则创建；如果文件存在，则在文件末尾追加内容
b	二进制binary模式（可与其他模式组合使用）
+	读、写模式（可与其他模式组合使用）

文本文件对象和二进制文件对象的创建：
1 如果没有增加模式 b ，则默认创建的是文本文件对象，处理的基本单元是“字符”。
2 如果是二进制模式 b ，则创建的是二进制文件对象，处理的基本单元是“字节”。

文本文件的写入

基本的文件写入操作 三个步骤：
1 创建文件对象
2 写入数据
3 关闭文件对象
示例

f = open(r"a.txt","a")
s = "itbaizhan\nbeijing\n"
f.write(s)
f.close()

或

with open(r"a.txt","a") as f:
	s = "itbaizhan\nbeijing\n"
	f.write(s)

常见编码介绍

在操作文本文件时，经常会操作中文，这时候就经常会碰到乱码问题。为了让大家有能力解决中文乱码问题，这里简单介绍一下各种编码之间的关系。
常用编码之间的关系如下：

ASCII

全称为American Standard Code for Information Interchange ，美国信息交换标准代码，这是世界上最早最通用的单字节编码系统，主要用来显示现代英语及其他西欧语言。

ASCII 码用7位表示，只能表示128个字符。只定义了27=128个字符，用7bit即可完全编码，而一字节8bit的容量是256，所以一字节ASCII 的编码最高位总是0。0～31表示控制字符如回车、退格、删除等；32～126表示打印字符即可以通过键盘输入并且能显示出来的字符； 其中48～57为0到9十个阿拉伯数字，65～90为26个大写英文字母，97～122号为26个小写英文字母，其余为一些标点符号、运算符号等，具体可以参考ASCII 标准表。

ISO8859-1

ISO-8859-1 又称Latin-1 ，是一个8位单字节字符集，它把ASCII 的最高位也利用起来，并兼容了ASCII ，新增的空间是128，但它并没有完全用完。
在ASCII 编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号，它是向下兼容ASCII 编码

GB2312,GBK,GB18030

GB2312 全称为信息交换用汉字编码字符集，是中国于1980年发布，主要用于计算机系统中的汉字处理。GB2312 主要收录了6763个汉字、682个符号。GB2312 覆盖了汉字的大部分使用率，但不能处理像古汉语等特殊的罕用字，所以后来出现了像GBK 、GB18030 这种编码。GB2312 完全兼容ISO8859-1

GBK全称为Chinese Internal Code Specification ，即汉字内码扩展规范，于1995年制定。它主要是扩展了GB2312 ，在它的基础上又加了更多的汉字，它一共收录了21003个汉字

GB18030现在最新的内码字集于2000年发布，并于2001年强制执行，包含了中国大部分少数民族的语言字符，收录汉字数超过70000余个。它主要采用单字节、双字节、四字节对字符编码，它是向下兼容GB2312 和GBK 的，虽然是我国的强制使用标准，但在实际生产中很少用到，用得最多的反而是GBK 和GB2312

Unicode

Unicode 编码设计成了固定两个字节，所有的字符都用16位(2^16=65536)表示，包括之前只占8位的英文字符等，所以会造成空间的浪费， UNICODE 在很长的一段时间内都没有得到推广应用。
Unicode 完全重新设计，不兼容iso8859-1 ，也不兼容任何其他编码

UTF-8

对于英文字母， unicode 也需要两个字节来表示。所以unicode 不便于传输和存储。因此而产生了UTF编码， UTF-8 全称是（ 8-bit UnicodeTransformation Format ）。
UTF 编码兼容iso8859-1 编码，同时也可以用来表示所有语言的字符，不过， UTF 编码是不定长编码，每一个字符的长度从1-4个字节不等。其中，英文字母都是用一个字节表示，而汉字使用三个字节。

建议 一般项目都会使用UTF-8

中文乱码问题

windows 操作系统默认的编码是GBK ， Linux 操作系统默认的编码是UTF-8 。当我们用open() 时，调用的是操作系统打开的文件，默认的编码是GBK。

示例 通过指定文件编码解决中文乱码问题

f = open(r"b.txt","w",encoding="utf-8")

write()/writelines()写入数据

write(a) ：把字符串a 写入到文件中
writelines(b) ：把字符串列表写入文件中，不添加换行符

f = open(r"d:\bb.txt","w",encoding="utf-8")
s = ["张三，北京\n","李四，深圳\n","王五，重庆\n"]
f.writelines(s)
f.close()

close()关闭文件流

由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用close() 方法关闭文件对象。当调用close() 方法时，首先会把缓冲区数据写入文件(也可以直接调用flush() 方法)，再关闭文件，释放文件对象。
为了确保打开的文件对象正常关闭，一般结合异常机制的finally 或者with 关键字实现无论何种情况都能关闭打开的文件对象。

try:
	f = open(r"my01.txt","a")
	s = "张三"
	f.write(s)
except BaseException as e:
	print(e)
finally:
	f.close()

文本文件的读取

三个方法：
1 read([size])
从文件中读取size 个字符，并作为结果返回。如果没有size 参数，则读取整个文件。读取到文件末尾，会返回空字符串。
2 readline()
读取一行内容作为结果返回。读取到文件末尾，会返回空字符串
3 readlines()
文本文件中，每一行作为一个字符串存入列表中，返回该列表

with open(r"a.txt","r",encoding="utf-8") asf:
	print(f.read(4)) ##读取前四个字符
	
with open(r"d:\bb.txt","r") as f:
	print(f.read())##读取整个文件
'''按行读取'''
with open(r"bb.txt","r") as f:
	while True:
	fragment = f.readline()
	if not fragment:
		break
	else:
		print(fragment,end="")
#使用迭代器（每次返回一行）读取文本文件
with open(r"d:\bb.txt","r") as f:
	for a in f:
		print(a,end="")
		
#为文本每行末尾增加行号
with open("b.txt","r",encoding="utf-8") as f:
	lines = f.readlines()
	lines2 = [line.rstrip()+"#"+str(index)+"\n" for index,line in zip(range(1,len(lines)+1),lines)]
with open("b.txt","w",encoding="utf-8") as f:
	f.writelines(lines2)