文件相关处理

文件的分类：

1、文本文件：用记事本打开的才是文本文档，也就是*.txt

2、二进制文件：word，jpg，gif等就是二进制文件

用于文件操作的相关模块

 创建文件对象open()

open()函数用于创建文件对象，基本语法格式如下：
                                 open(文件名[,打开方式])
如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：D:\a\b.txt。

为了减少“\”的输入，可以使用原始字符串：r“d:\b.txt”。示例如下：

f = open(r"d:\b.txt","w")

 文本文件对象和二进制文件对象的创建：
如果我们没有增加模式“b”，则默认创建的是文本文件对象，处理的基本单元是“字符”。如果是二进制模式“b”，则创建的是二进制文件对象，处理的基本单元是“字节”。

文本文件的写入

1、创建文件对象
2、写入数据
3、关闭文件对象

常用编码之间的关系：

 注：windows操作系统默认GBK，Linux操作系统默认UTF-8
在python默认编码为utf-8，但是在使用open（）打开文件却是GBK
因此在使用open打开文件时，可以规定打开方式加，encoing=‘utf-8’
这样打开文件时就不会乱码了

写入数据的方法：

1、write（a）：把字符串a写入到文件中

2、writelines（b）：把字符串列表写入文件中，不添加换行符

close（）说明：当使用close方法时，是把传入缓冲区的的对应内容传入目标文件，然后关闭，当使用flush（）方法时也会把缓冲区的内容传入文件，但是不会关闭文件

【操作】结合异常机制finally 确保关闭文件对象

try:
        f = open(r"my01.txt","a")
        str = "gaoqi"
        f.write(str)
except BaseException as e:
        print(e)
finally:
        f.close()

with 语句(上下文管理器)：传入语句后无需使用close方法自动关闭

文本文件的读取：

1、read（[size]）：从文件中读取size个字符，如果括号内不写参数则读取文件全部内容

2、readline（）：读取文件一行的内容作为结果返回。读取到文件末尾会返回空字符串

3、readlines（）：文本文件中，每一行作为一个字符串存入列表中，返回该列表

enumerate(lines)：对列表lines进行迭代，生成“索引+元素”的组合，是一个迭代器

【操作】为文本文件每一行的末尾增加行号

with open(r'练习.txt','r',encoding='utf-8')as f:
    lines=f.readlines()
    lines=[value.rstrip()+'#'+str(index+1)+'\n' for index,value in enumerate(lines)]
with open(r'练习.txt','w',encoding='utf-8') as f:
    f.writelines(list(lines))

二进制文本文件的读取和写入：

f = open(r"d:\a.txt", 'wb') #可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt", 'ab') #可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt", 'rb') #可读的二进制文件对象

创建好二进制文件对象后，仍然可以使用write()、read()实现文件的读写操作。

【操作】读取图片文件，实现文件的拷贝

with open('aa.gif', 'rb') as f:
    with open('aa_copy.gif', 'wb') as w:
        for line in f.readlines():
            w.write(line)
print('图片拷贝完成！')

with open(r'aa.png','rb') as m:
    with open(r'pp.png','wb') as h:
        for lines in m.readlines():
            h.write(lines)

文件对象的常用属性和方法

 

 

 

 使用pickle序列化：

序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他地方。反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。我们可以使用pickle 模块中的函数，实现序列化和反序列操作。

序列化我们使用：
pickle.dump(obj, file) obj 就是要被序列化的对象，file 指的是存储的文件
pickle.load(file) 从file 读取数据，反序列化成对象

【操作】将对象序列化到文件中
import pickle
with open(r"d:\data.dat","wb") as f:
    a1 = "高淇"
    a2 = 234
    a3 = [20,30,40]
    pickle.dump(a1,f)
    pickle.dump(a2, f)
    pickle.dump(a3, f)
#【操作】将获得的数据反序列化成对象
import pickle
with open(r"d:\data.dat","rb") as f:
    a1 = pickle.load(f)
    a2 = pickle.load(f)
    a3 = pickle.load(f)
    print(a1)
    print(a2)
    print(a3)

CSV 文件的操作

csv(Comma Separated Values)是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出。与Excel 文件不同，CSV 文件中：
值没有类型，所有值都是字符串
不能指定字体颜色等样式
不能指定单元格的宽高，不能合并单元格
没有多个工作表
不能嵌入图像图表

Python 标准库的模块csv 提供了读取和写入csv 格式文件的对象。
csv.reader 对象和csv 文件读取

【操作】csv.reader 对象于从csv 文件读取数据

import csv

with open('d:\a.csv') as a:

        a_csv=csv.reader(a)  #创建csv对象，他是一个包含所有数据的列表，每一行为一个元素

        headers=next(a_csv)  #获得列表对象，包含标题行的信息

        print（headers）

        for row in a_csv:#循环打印各行内容

                print(row)

#创建一个csv文件并往里写入内容

import csv
headers=['姓名','年龄','住址','月薪']
rows=[('高崎','18','回龙观','10000'),('山晒','19','西三旗','20000')]
with open(r'ceshi.csv','w') as f:
    b_csv=csv.writer(f)
    b_csv.writerow(headers)
    b_csv.writerows(rows)

os 和os.path 模块

os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。在系统运维的核心基础。

os 模块-调用操作系统命令

·os.system 可以帮助我们直接调用系统的命令

#【示例】os.system 调用windows 系统的记事本程序
import os
os.system("notepad.exe")
【示例】os.system 调用windows 系统中ping 命令
import os
os.system("ping www.baidu.com")

·os.startfile：直接调用可执行文件

【示例】运行安装好的微信
import os
os.startfile(r"C:\Program Files (x86)\Tencent\WeChat\WeChat.exe")

os 模块-文件和目录操作

 

 【示例】os 模块：创建、删除目录、获取文件信息等

import os
print(os.name)##操作系统的名字windows->nt linux 和unix->posix
print(os.sep)#当前操作系统所使用的路径分隔符
print(repr(os.linesep))#当前换行符为'\r\n' 组合用于在文本中表示换行，并将光标移动到下一行的开头。
#其中，repr用于将给定内容转换为字符串显示
print(os.stat('练习.py'))#返回文件的所有属性
##############关于工作目录的操作###############
print(os.getcwd())#返回当前文件的路径
os.chdir("d:") #改变当前的工作目录为：d:盘根目录
os.mkdir("书籍")#创建目录
################创建目录、创建多级目录、删除#############
os.rmdir("书籍")#删除目录
os.makedirs("电影/港台/周星驰")#创建多级目录
os.removedirs("电影/港台/周星驰") #只能删除空目录，也就是要写到该目录的最子目录
os.makedirs("../音乐/香港/刘德华") #../指的是上一级目录，在上一级目录下创建
os.rename("电影","movie")#将目录电影的名字改为movie
dirs = os.listdir("movie")#返回movie目录下的文件和目录列表

 os.path 模块

os.path 模块提供了目录相关（路径判断、路径切分、路径连接、文件夹遍历）的操作

 

import os
import os.path
print(os.path.isabs('d:/a.txt'))#判断是否绝对路径
print(os.path.isdir('d:/a.txt'))#判断是否目录
print(os.path.isfile('d:/a.txt'))#判断是否文件
print(os.path.exists('练习.txt'))#判断文件是否存在
print(os.path.getsize('练习.py'))#文件大小
print(os.path.abspath('练习.py'))#输出绝对路径
print(os.path.dirname('练习.py'))#输出所在目录
########获得创建时间、访问时间、最后修改时间##########
print(os.path.getctime("练习.py"))#返回创建时间
print(os.path.getatime("练习.py"))#返回最后访问时间
print(os.path.getmtime("练习.py"))#返回最后修改时间
################对路径进行分割、连接操作####################
path=os.path.abspath('练习.txt')#返回绝对路径
print(os.path.split(path))#返回元组：目录，文件
#('D:\\数据挖掘', '练习.txt')
print(os.path.splitext(path))#返回元组：路径、扩展名
#('D:\\数据挖掘\\练习', '.txt')
print(os.path.join("aa","bb","cc")) #将括号中的路径合并，返回路径：aa/bb/cc

 i.endswith() 是一个字符串方法，用于检查字符串 i 是否以指定的后缀结尾，并返回一个布尔值。

【示例】列出指定目录下所有的.py 文件，并输出文件名

paths=os.getcwd()
m=os.listdir(paths)

for i in m:
    pos=i.rfind('.')
    if i[pos+1:]=='py':
        print(i,end='\t')
print("##################")
file_list2=[i for i in os.listdir(paths) if i.endswith('.py')]
for i in file_list2:
    print(i,end='\t')

walk()递归遍历所有文件和目录

os.walk()方法：返回一个3 个元素的元组，(dirpath, dirnames, filenames),
dirpath：要列出指定目录的路径
dirnames：目录下的所有文件夹
filenames：目录下的所有文件

paths=os.getcwd()
list_files=os.walk(paths)
all_files=[]
for dirpath,dirnames,filenames in list_files:

    for i in dirnames:
        all_files.append(os.path.join(dirpath,i))
    for n in filenames:
        all_files.append(os.path.join(dirpath,n))

for file in all_files:
    print(file)

shutil 模块(拷贝和压缩)

shutil 模块是python 标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以文件和文件夹的压缩、解压缩操作。
os 模块提供了对目录或文件的一般操作。shutil 模块作为补充，提供了移动、复制、压缩、解压操
作，这些os 模块都没有提供。

import shutil
shutil.copyfile('aa.png','ss.png')#拷贝aa新建为ss

shutil.copytree('港片/小电影','音乐',ignore=shutil.ignore_patterns('*.png'))
#将文件夹港片/小电影中的所有文件拷贝到音乐文件夹中（此处音乐文件夹为新建，如本身有不可拷贝），忽略所有后缀为png的文件
#【示例】实现将文件夹所有内容压缩(使用shutil 模块)
import shutil
import zipfile
#将港片/小电影文件夹中的文件以zip格式压缩至音乐2/movie文件夹下
shutil.make_archive("音乐2/movie","zip","港片/小电影")
#使用zipfile.ZipFile（）方法创建一个名为a的zip文件，并在其中写入1.txt和2.txt文件后关闭
z = zipfile.ZipFile("a.zip","w")
z.write("1.txt")
z.write("2.txt")
z.close()

【示例】实现将压缩包解压缩到指定文件夹(使用shutil 模块)

import shutil
import zipfile
#解压缩：
z2 = zipfile.ZipFile("a.zip","r")
z2.extractall("d:/") #设置解压的地址
z2.close()

递归算法：“自己调用自己”

递归结构包括两个部分：
 定义递归头。解答：什么时候不调用自身方法。如果没有头，将陷入死循环，也就是递归的结束条件。

 递归体。解答：什么时候需要调用自身方法。

递归的缺陷
简单的程序是递归的优点之一。但是递归调用会占用大量的系统堆栈，内存耗用多，在递归调用层次多时速度要比循环慢的多，所以在使用递归时要慎重

import shutil
import os


list_file = []
def files(path):
    list = os.listdir(path)
    for i in list:
        filepath=os.path.join(path,i)
        if os.path.isdir(filepath):
            files(filepath)
        list_file.append(i)
files(os.getcwd())

for f in reversed(list_file):
    print(f)