Python——文件操作 ( IO技术 ) [ 笔记 ]

---

文本文件和二进制文件

  按文件中数据组织形式，我们把文件分为文本文件和二进制文件两大类。

1. 文本文件
     文本文件存储的是普通“字符”文本，python默认为 unicode 字符集（两个字节表示一个字符，最多可以表示：65536 个），可以使用记事本程序打开。但是，像 word 软件编辑的文档不是文本文件。
2. 二进制文件
     二进制文件把数据内容用“字节”进行存储，无法用记事本打开。必须使用专用的软件解码。常见的有：MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。

---

文件操作相关概述

名称	说明
io模块	文件流的输入和输出操作 input output
os模块	基本操作系统功能，包括文件操作
glob模块	查找符合特定规则的文件路径名
fnmatch模块	使用模式来匹配文件路径名
fileinput模块	处理多个输入文件
filecmp模块	用于文件的比较
cvs模块	用于 csv 文件处理
pickle和cPickle	用于序列化和反序列化
xml包	用于 XML 数据处理
bz2、gzip、zipfile、zlib、tarfile	用于处理压缩和解压缩文件（分别对应不同的算法）

---

创建文件对象open()

  open()函数用于创建文件对象，基本语法格式如下：
  open(文件名[,打开方式])

  如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：
  D:\a\b.txt。

  为了减少“\”的输入，可以使用原始字符串：r“d:\b.txt”。示例如下：
  f = open(r"d:\b.txt",“w”)

打开方式有如下几种：

模式	描述
r	读 read 模式
w	写 write 模式。如果文件不存在则创建；如果文件存在，则重写新内容。
a	追加 append 模式。如果文件不存在则创建；如果文件存在，则在文件末尾追加内容
b	二进制 binary 模式（可与其他模式组合使用）
+	读、写模式（可与其他模式组合使用）

文本文件对象和二进制文件对象的创建：
  如果我们没有增加模式“b”，则默认创建的是文本文件对象，处理的基本单元是 “字 符”。
  如果是二进制模式“b”，则创建的是二进制文件对象，处理的基本单元是 “字节”。

---

常用编码介绍

常用编码之间的关系如下：

中文乱码问题

  windows 操作系统默认的编码是 GBK，Linux 操作系统默认的编码是 UTF-8。当我们 用 open()时，调用的是操作系统打开的文件，默认的编码是 GBK。

• 方法一：在文件编辑区单击右键，选择 FileEncoding，选择 GBK 即可。（Reload in GBK）
• 方法二：

# 创建文件对象
f = open(r'b.txt','w',encoding='utf-8')
f.write('好好学习\n天天向上\n')
f.close()   # 数据→解释器→操作系统→硬盘

---

write()/writelines()写入数据

• write(a)：把字符串 a 写入到文件中。
• writelines(b)：把字符串列表写入文件中，不添加换行符。

---

close()关闭文件流

  由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用close()方法关闭文件对象。当调用 close() 方法时，首先会把缓冲区数据写入文件(也可以直接调用flush()方法)，再关闭文件，释放文件对象。

  为了确保打开的文件对象正常关闭，一般结合异常机制的 finally 或者 with关键字 实现无论何种情况都能关闭打开的文件对象。

# 使用异常机制管理文件对象的关闭操作
try:
    f = open(r'c.txt','w')
    strs = ['aa\n','bb\n','cc\n']
    f.writelines(strs)
except BaseException as e:
    print(e)
finally:
    f.close()

---

with 语句(上下文管理器)

  with关键字（上下文管理器）可以自动管理上下文资源，不论什么原因跳出with块，都能确保文件正确的关闭，并且可以在代码块执行完毕后自动还原进入该代码块时的现场。

with open(r'd.txt','a') as f:
    f.write('good good study')

---

文本文件的读取

1. read([size])
     从文件中读取size个字符，并作为结果返回。如果没有size参数，则读取整个文件。读取到文件末尾，会返回空字符串。
2. readline()
     读取一行内容作为结果返回。读取到文件末尾，会返回空字符串。
3. readlines()
     文本文件中，每一行作为一个字符串存入列表中，返回该列表

# 测试文件读取
with open(r'd.txt','r') as f:
    str = f.read(4)   # 读取文件的前4个字符，f.read()则是一次将文件内容读入到程序中
    print(str)

# 使用迭代器（每次返回一行）读取文本文件
with open(r'b.txt','r',encoding='utf-8') as f:
    for a in f:
        print(a,end='')

# 为文本文件每一行的末尾增加行号
with open("b.txt","r",encoding="utf-8") as f:
    lines = f.readlines()
    lines = [line.rstrip() + " #" + str(index + 1) + "\n" for index, line in enumerate(lines)]  # 推导式生成列表
with open("b.txt","w",encoding="utf-8") as f:
    f.writelines(lines)

---

二进制文件的读取和写入

  二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，不过，我们需要指 定二进制模式，从而创建出二进制文件对象。例如：

f = open(r"d:\a.txt", ‘wb’)   #可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt", ‘ab’)   #可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt", ‘rb’)   #可读的二进制文件对象

  创建好二进制文件对象后，仍然可以使用 write()、read()实现文件的读写操作。

# 读取图片文件，实现文件的拷贝
with open('aa.gif','rb') as f:
    with open('aa_copy.gif','wb') as w:
        for line in f.readlines():
            w.write(line)
print('图片拷贝完成!')

---

文件对象的常用属性和方法

文件对象的属性

属性	说明
name	返回文件的名字
mode	返回文件的打开模式
closed	若文件被关闭则返回 True

文件对象的打开模式

模式	说明
r	读模式
w	写模式
a	追加模式
b	二进制模式（可与其他模式组合）
+	读写模式（可以其他模式组合）

文件对象的常用方法

方法名	说明
read([size])	从文件中读取 size 个字节或字符的内容返回。若省略[size]，则读取到文件末尾，即一次读取文件所有内容
readline()	从文本文件中读取一行内容
readlines()	把文本文件中每一行都作为独立的字符串对象，并将这些对象放入列表返回
write(str)	将字符串 str 内容写入文件
writelines(s)	将字符串列表s写入文件中，不添加换行符
seek(offset[,whence])	把文件指针移动到新的位置，offset表示相对于whence的多少个字节的偏移量。 offset:为正往结束方向移动，为负往开始方向移动。 whence不同的值代表不同含义： 0：从文件头开始计算（默认值） 1：从当前位置开始计算 2：从文件尾开始计算
tell()	返回文件指针当前位置
truncate([size])	不论指针在什么位置，只留下指针前size个字节的内容，其余全部删除； 如果没有传入size，则指针当前位置到文件末尾内容全部删除
flush()	将缓冲区内容写入文件，但不关闭文件
close()	将缓冲区内容写入文件，同时关闭文件，释放文件对象相关资源

文件任意位置操作

# seek()移动文件指针
with open('b.txt','r',encoding='utf-8') as f:
    print('文件名是：{0}'.format(f.name))
    print(f.tell())   # 打印指针当前位置
    print('读取的内容：{0}'.format(str(f.readline())))
    print(f.tell())  # 打印指针当前位置
    f.seek(6)   # 移动指针
    print('读取的内容：{0}'.format(str(f.readline())))

运行结果：

---

使用pickle序列化

  Python 中，一切皆对象，对象本质上就是一个“存储数据的内存块”。有时候，我们 需要将 “内存块的数据” 保存到硬盘上，或者通过网络传输到其他的计算机上。这时候，就需要 “对象的序列化和反序列化”。 对象的序列化机制广泛的应用在分布式、并行系统上。

  序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他地方。

  反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。

  我们可以使用 pickle 模块中的函数，实现序列化和反序列操作。

序列化我们使用：
  pickle.dump(obj, file)   # obj就是要被序列化的对象，file指的是存储的文件
  pickle.load(file)  # 从 file 读取数据，反序列化成对象

import pickle
a1 = 'kk'
a2 = 123
a3 = [10,20,30]
with open('data.dat','wb') as f:   # 将对象序列化到文件中
    pickle.dump(a1,f)
    pickle.dump(a2, f)
    pickle.dump(a3, f)
with open('data.dat','rb') as f:   # 将获得的数据反序列化成对象
    b1 = pickle.load(f)
    b2 = pickle.load(f)
    b3 = pickle.load(f)
    print(b1);print(b2);print(b3)

---

CSV文件的操作

  CSV(Comma Separated Values) 是逗号分隔符文本格式，常用于数据交换、Excel 文件和数据库数据的导入和导出。

与 Excel 文件不同，CSV 文件中：

• 值没有类型，所有值都是字符串
• 不能指定字体颜色等样式
• 不能指定单元格的宽高，不能合并单元格
• 没有多个工作表
• 不能嵌入图像图表

csv文件的读取和写入

import csv
# csv文件的写入
with open('ff.csv','w')as f:
    b_csv = csv.writer(f)
    b_csv.writerow(['ID','姓名','年龄'])
    b_csv.writerow(['1001','张三','20'])
    c = (['1002','李四','22'],['1003','王五','21'])
    b_csv.writerows(c)
# csv文件的读取
with open('ff.csv','r') as f:
    a_csv = csv.reader(f)
    # print(list(a_csv))   # 该方法仅执行一次，指针位于文件尾部
    for row in a_csv:
        print(row)

---

os和os.path模块

  os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。在系统运维的核心基础。

os模块-调用操作系统命令

1. 调用 windows 系统的记事本程序

import os
os.system('notepad.exe')   

2. 调用windows系统中ping命令

import os
os.system('ping www.baidu.com')   

3. 调用windows系统中cmd命令

import os
os.system('cmd')  

4. 直接调用可执行的文件

import os
os.startfile(r"C:\Program Files (x86)\Tencent\WeChat\WeChat.exe")

os模块-文件和目录操作

os 模块下常用操作文件的方法：

方法名	描述
remove(path)	删除指定的文件
rename(src,dest)	重命名文件或目录
stat(path)	返回文件的所有属性
listdir(path)	返回path目录下的文件和目录列表

os 模块下关于目录操作的相关方法：

方法名	描述
mkdir(path)	创建目录
makedirs(path1/path2/path3/… )	创建多级目录
rmdir(path)	删除目录
removedirs(path1/path2…)	删除多级目录
getcwd()	返回当前工作目录：current work dir
chdir(path)	把 path 设为当前工作目录
walk()	遍历目录树
sep	当前操作系统所使用的路径分隔符

#coding=utf-8
# os 模块-文件和目录操作
import os

######获取文件和文件夹相关的信息######

print(os.name)   # 获取操作系统的信息 windows→nt linux和unix→posix

print(os.sep)   # 查看操作系统的分隔符 windows→\ linux和unix→/

print(repr(os.linesep))   # 查看操作系统的换行符 windows→\r\n linux和unix→\n\

print(os.stat('myos02.py'))   # 查看文件信息

######关于工作目录的操作######

print(os.getcwd())   # 获取当前工作目录

os.chdir('d:')   # 改变当前工作目录为d:

os.mkdir('ososos')   # 创建目录（无改变当前工作目录时，默认在当前工作目录下创建）

######创建目录、创建多级目录、删除######

os.mkdir('ososos')   # 创建目录

os.rmdir('ososos')   # 删除目录 相对路径都是相对于当前的工作目录

os.makedirs('os01/os02/os03')   # 创建多级目录

os.removedirs('os01/os02/os03')   # 只能删除空目录

os.makedirs('../osos01/osos02/osos/03')   #../指的是上一级目录

os.rename('os01','OOS01')   # 修改目录名称

dirs = os.listdir('OOS01')   # 只能获取一层子目录
print(dirs) 

os.path 模块

  os.path 模块提供了目录相关（路径判断、路径切分、路径连接、文件夹遍历）的操作。

方法	描述
isabs(path)	判断path是否绝对路径
isdir(path)	判断path是否为目录
isfile(path)	判断path是否为文件
exists(path)	判断指定路径的文件是否存在
getsize(filename)	返回文件的大小
abspath(path)	返回绝对路径
dirname§	返回目录的路径
getatime(filename)	返回文件的最后访问时间
getmtime(filename)	返回文件的最后修改时间
walk(top,func,arg)	递归方式遍历目录
join(path,*paths)	连接多个path
split(path)	对路径进行分割，以列表形式返回
splitext(path)	从路径中分割文件的拓展名

#coding=utf-8
# os.path 模块
import  os
import  os.path   # from os import  path

######判断######

print(os.path.isabs('myos01.py'))   # 判断是否为绝对路径

print(os.path.isdir('myos01.py'))   # 判断是否为目录

print(os.path.isfile('myos01.py'))   # 判断是否为文件

print(os.path.exists('myos01.py'))   # 判断文件是否存在

######获得文件的基本信息######

print(os.path.getsize('myos01.py'))   # 获取文件大小

print(os.path.abspath('myos01.py'))   # 获取绝对路径

print(os.path.dirname('E:\PycharmProjects\mypro_io\test_os\myos03.py'))   # 获取文件目录

print(os.path.getctime('myos01.py'))   # 获取文件创建时间

print(os.path.getatime('myos01.py'))   # 获取文件最后访问时间

print(os.path.getmtime('myos01.py'))   # 获取文件最后修改时间

######对路径的操作######

path = os.path.abspath('myos01.py')
print(os.path.split(path))   # 按目录和文件名切割
print(os.path.splitext(path))   # 按文件目录及文件名和后缀名分割

print(os.path.join('aa','bb','cc'))   # 路径的连接

#coding=utf-8
# 列出工作目录下的所有.py文件，并输出文件名
import os

path = os.getcwd()
file_list = os.listdir(path)
for filename in file_list:
    if filename.endswith("py"):
        print(filename)
        
# 使用推导式完成同种效果
file_list2 = [filename for filename in os.listdir(path) if filename.endswith("py")]
for f in file_list2:
    print(f)

walk()递归遍历所有文件

os.walk()方法：
  返回一个3个元素的元组 (dirpath, dirnames, filenames)

• dirpath：要列出指定目录的路径
• dirnames：目录下的所有文件夹
• filenames：目录下的所有文件

#coding=utf-8
# walk()递归遍历所有文件
import os
all_files = []
path = os.getcwd()
list_files = os.walk(path)
for dirpath,dirnames,filenames in list_files:
    for dir in dirnames:   # 当前目录下的所有文件夹
        all_files.append(os.path.join(dirpath,dir))   # 连接目录和文件名
    for file in filenames:   # 当前目录下的所有文件
        all_files.append(os.path.join(dirpath,file))
# 打印所有的子目录和子文件
for file in all_files:
    print(file)

---

shutil 模块（拷贝和压缩）

  shutil 模块是 python 标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。
  os 模块提供了对目录或文件的一般操作。shutil 模块作为补充，提供了移动、复制、压缩、解压等操作，这些 os 模块都没有提供。

---

递归算法

  递归是一种常见的解决问题的方法，即把问题逐渐简单化。递归的基本思想就是 “自己调用自己”，一个使用递归技术的方法将会直接或者间接的调用自己。
  利用递归可以用简单的程序来解决一些复杂的问题。比如：斐波那契数列的计算、汉诺 塔、快排等问题。
  递归结构包括两个部分：
  定义递归头。 解答：什么时候不调用自身方法。如果没有头，将陷入死循环，也就 是递归的结束条件。
  递归体。 解答：什么时候需要调用自身方法。

# 递归算法
num = 1
def a1():
    global num   # 如果要在函数内改变全局变量的值，使用global关键字声明
    num += 1
    print('a1')
    if num<3:
        a1()   # 自己调用自己
a1()

#coding=utf-8
# 使用递归计算n的阶乘
n = int(input('请输入一个数字，计算阶乘：'))
def factorial(n):
    if n==1:
        return n
    else:
        return n*factorial(n-1)
print(factorial(n))

#coding=utf-8
# 递归打印所有的目录和文件
import os
all_files = []
def getAllFiles(path,level):
    childFiles = os.listdir(path)
    for file in childFiles:
        filepath = os.path.join(path,file)
        if os.path.isdir(filepath):   # 当下一层是目录时，进入目录遍历
            getAllFiles(filepath,level+1)
        all_files.append('\t'*level+filepath)
getAllFiles('test_os',0)
for f in reversed(all_files):
    print(f)