Python之持久化存储文件

什么是文件?

思考: 日常中的数据存储在纸上， 而计算机的数据存储在哪里呢?    ---硬盘上

计算机文件（或称文件、电脑档案、档案），是存储在某种长期储存设备上的一段数据流。所谓“长期储存设备”一般指磁盘、光盘、磁带等。其特点是所存信息可以长期、多次使用，不会因为断电而消失。

文件的作用?

一个程序在运行过程中用了九牛二虎之力终于计算出了结果,试想一下如果不把这些数据存放起来,相比重启电脑之后,“哭都没地方哭了”。 默认数据是加载到内存中，结果也是保存到内存中， 程序执行结束，所有的数据释放。（好记性不如烂笔头）

文件的打开

宋丹丹拉高音调说：这个得分成三步，第一步打开冰箱；第二步，把大象塞进冰箱里；第三步，把冰箱关上。在操作文件的整体过程与将大象放入冰箱的过程是很相似的。

在python,使用open函数,可以打开一个已经存在的文件,或者创建一个新文件。 open(文件名,访问模式)   e.g. f = open('test.txt', 'w') 如果文件不存在那么创建,如果存在那么就先清空,然后写入数据

文件的访问模式

 注意：要读取二进制文件，比如图片、视频等等，用'rb', 'wb', 'ab'等模式打开文件即可.

        是否有读权限?    是否有写权限?     文件不存在，是否会创建文件?        文件操作会清空文件内容么?
r              yes                               no                                    no                                                        no
w             no                                yes                                  yes                                                      yes
a             no                                 yes                                 yes                                                      no
w+         yes                                yes                                  yes                                                      yes
a+          yes                               yes                                   yes                                                      no
r+           yes                               yes                                    no                                                       no

File对象的属性

# 代码
f = open('file.txt', 'w')
print(f.closed)
print(f.name)
print(f.mode)
f.close()
print(f.closed)

# 运行结果
False
file.txt
w
True

File对象的常用方法

seek(offset, from)有2个参数:

offset:偏移量 from:方向  

0:表示文件开头;

1:表示当前位置;

2:表示文件末尾 

# 代码
f = open('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/file.txt', 'a+')
# 2). 对文件做操作
print(f.mode)
print(f.read())
f.seek(0, 0)    #a+模式指针在最后，如果不把指针位置移动到开头，则文件内容不会被显示出来
print(f.read())
f.write('hello')  # io.UnsupportedOperation: not writable
# 3). 关闭文件对象
f.close()

# 运行结果
a+

abcdefg123456abcdefg123456abcdefg123456abcdefg123456abcdefg123456abcdefg123456hellohello

注意：a+模式指针在最后，如果不把指针位置移动到开头，则文件内容不会被显示出来，查看文件内容没有显示一定要注意指针的位置

练习

1). 把位置设置为:从文件开头,偏移5个字节

2). 把位置设置为:离文件末尾,3字节处

# 代码
f = open('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/file.txt', 'r+')
f.seek(5, 0)
print(f.tell())
f.seek(0, 2)
print(f.tell())
f.seek(-3, 2)
print(f.tell())

# 运行结果
5
98
Traceback (most recent call last):
  File "/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/file.py", line 29, in <module>
    f.seek(-3, 2)
io.UnsupportedOperation: can't do nonzero end-relative seeks

注意：运行结果出错

按照seek()方法的格式file.seek(offset,whence)，后面的1代表从当前位置开始算起进行偏移，2从文件末尾开始算起进行偏移，那又为什么报错呢？

这是因为，在文本文件中，没有使用b模式选项打开的文件，只允许从文件头开始计算相对位置，从文件尾计算时就会引发异常。将  f=open('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/file.txt', 'r+')  改成

f = open('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/file.txt', 'rb+')   就可以了

# 代码
f = open('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/file.txt', 'rb+')
f.seek(5, 0)
print(f.tell())
f.seek(0, 2)
print(f.tell())
f.seek(-3, 2)
print(f.tell())

# 运行结果
5
98
95

文件的关闭

方法一: 调用close()方法关闭文件。文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源， 并且操作系统同一时间能打开的文件数量也是有限的：

# 代码
f = open('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/file.txt', 'rb+')
print(f.closed)
f.close()
print(f.closed)

# 运行结果
False
True

方法二:  Python引入了with语句来自动帮我们调用close()方法：

with语句工作原理

python中的with语句使用于对资源进行访问的场合，保证不管处理过程中是否发生错误或者异常都会自动执行规定的(“清理”)操作，释放被访问的资源，比如有文件读写后自动关闭、线程中锁的自动获取和释放等。

# 代码
with open('file.txt', 'rb+') as f:
    print(f.closed)
print(f.closed)

# 运行结果
False
True

文件的应用： 文件的备份

输入文件的名字,然后程序自动完成对文件进行备份。 

# 代码
import os
def copyfile(sourefile, dstfile):
    if os.path.exists(sourefile):
        source_f = open(sourefile)
        current = source_f.read()
        print('原文件内容为：', current)
        source_f.close()
        dst_f = open(dstfile, 'w+')
        dst_f.write(current)
        dst_f.seek(0, 0)
        copy_current = dst_f.read()
        print('备份文件内容为：', copy_current)
        dst_f.close()
    else:
        print('文件不存在')


copyfile('file.txt', 'copy_file.txt')

# 运行结果
原文件内容为： abcdefg123456
备份文件内容为： abcdefg123456

关于操作系统os

os，语义为操作系统，处理操作系统相关的功能，可跨平台。 比如显示当前目录下所有文件/删除某个文件/获取文件大小……

# 代码
import os

# 1). 返回操作系统类型， 值为posix，是Linux操作系统, 值为nt， 是windows操作系统
print(os.name)
os_name = 'Linux' if os.name =='posix' else 'Windows'
print("当前操作系统: %s" %(os_name))

# 2). 操作系统的详细信息
detail_info = os.uname()
print(detail_info)
print("主机名:", detail_info.nodename)
print("硬件架构:", detail_info.machine)
print("系统名称:", detail_info.sysname)
print("Linux内核的版本号:", detail_info.release)

# 3). 系统环境变量等价于Linux的env命令
print(os.environ)

# 4). 通过key值获取环境变量对应的value值
print(os.environ['PATH'])

# 运行结果
posix
当前操作系统: Linux
posix.uname_result(sysname='Linux', nodename='foundation70.ilt.example.com', release='3.10.0-514.el7.x86_64', version='#1 SMP Wed Oct 19 11:24:13 EDT 2016', machine='x86_64')
主机名: foundation70.ilt.example.com
硬件架构: x86_64
系统名称: Linux
Linux内核的版本号: 3.10.0-514.el7.x86_64
environ({'PATH': '/usr/lib64/qt-3.3/bin:/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin:/home/kiosk/.local/bin:/home/kiosk/bin', 'XAUTHORITY': '/run/gdm/auth-for-kiosk-tEuL4s/database', 'IMSETTINGS_MODULE': 'none', 'HISTCONTROL': 'ignoredups', 'XMODIFIERS': '@im=ibus', 'GDMSESSION': 'gnome-classic', 'DBUS_SESSION_BUS_ADDRESS': 'unix:abstract=/tmp/dbus-81KLzj6UtM,guid=75fe6688d76353ca0e52107a5cee5678', 'XDG_CURRENT_DESKTOP': 'GNOME-Classic:GNOME', 'MAIL': '/var/spool/mail/kiosk', 'SSH_AGENT_PID': '1799', 'USERNAME': 'kiosk', 'SESSION_MANAGER': 'local/unix:@/tmp/.ICE-unix/1630,unix/unix:/tmp/.ICE-unix/1630', 'LOGNAME': 'kiosk', 'PWD': '/home/kiosk/PycharmProjects/2019PythonProject/week05/day01', 'PYCHARM_HOSTED': '1', 'WINDOWID': '23071379', 'PYTHONPATH': '/home/kiosk/PycharmProjects/2019PythonProject:/home/kiosk/Downloads/pycharm-2018.3.2/helpers/pycharm_matplotlib_backend', 'LESSOPEN': '||/usr/bin/lesspipe.sh %s', 'SHELL': '/bin/bash', 'QT_GRAPHICSSYSTEM_CHECKED': '1', 'QTINC': '/usr/lib64/qt-3.3/include', 'OLDPWD': '/home/kiosk/Downloads/pycharm-2018.3.2/bin', 'GNOME_DESKTOP_SESSION_ID': 'this-is-deprecated', 'IMSETTINGS_INTEGRATE_DESKTOP': 'yes', 'XDG_SESSION_DESKTOP': 'gnome-classic', 'LS_COLORS': 'rs=0:di=38;5;27:ln=38;5;51:mh=44;38;5;15:pi=40;38;5;11:so=38;5;13:do=38;5;5:bd=48;5;232;38;5;11:cd=48;5;232;38;5;3:or=48;5;232;38;5;9:mi=05;48;5;232;38;5;15:su=48;5;196;38;5;15:sg=48;5;11;38;5;16:ca=48;5;196;38;5;226:tw=48;5;10;38;5;16:ow=48;5;10;38;5;21:st=48;5;21;38;5;15:ex=38;5;34:*.tar=38;5;9:*.tgz=38;5;9:*.arc=38;5;9:*.arj=38;5;9:*.taz=38;5;9:*.lha=38;5;9:*.lz4=38;5;9:*.lzh=38;5;9:*.lzma=38;5;9:*.tlz=38;5;9:*.txz=38;5;9:*.tzo=38;5;9:*.t7z=38;5;9:*.zip=38;5;9:*.z=38;5;9:*.Z=38;5;9:*.dz=38;5;9:*.gz=38;5;9:*.lrz=38;5;9:*.lz=38;5;9:*.lzo=38;5;9:*.xz=38;5;9:*.bz2=38;5;9:*.bz=38;5;9:*.tbz=38;5;9:*.tbz2=38;5;9:*.tz=38;5;9:*.deb=38;5;9:*.rpm=38;5;9:*.jar=38;5;9:*.war=38;5;9:*.ear=38;5;9:*.sar=38;5;9:*.rar=38;5;9:*.alz=38;5;9:*.ace=38;5;9:*.zoo=38;5;9:*.cpio=38;5;9:*.7z=38;5;9:*.rz=38;5;9:*.cab=38;5;9:*.jpg=38;5;13:*.jpeg=38;5;13:*.gif=38;5;13:*.bmp=38;5;13:*.pbm=38;5;13:*.pgm=38;5;13:*.ppm=38;5;13:*.tga=38;5;13:*.xbm=38;5;13:*.xpm=38;5;13:*.tif=38;5;13:*.tiff=38;5;13:*.png=38;5;13:*.svg=38;5;13:*.svgz=38;5;13:*.mng=38;5;13:*.pcx=38;5;13:*.mov=38;5;13:*.mpg=38;5;13:*.mpeg=38;5;13:*.m2v=38;5;13:*.mkv=38;5;13:*.webm=38;5;13:*.ogm=38;5;13:*.mp4=38;5;13:*.m4v=38;5;13:*.mp4v=38;5;13:*.vob=38;5;13:*.qt=38;5;13:*.nuv=38;5;13:*.wmv=38;5;13:*.asf=38;5;13:*.rm=38;5;13:*.rmvb=38;5;13:*.flc=38;5;13:*.avi=38;5;13:*.fli=38;5;13:*.flv=38;5;13:*.gl=38;5;13:*.dl=38;5;13:*.xcf=38;5;13:*.xwd=38;5;13:*.yuv=38;5;13:*.cgm=38;5;13:*.emf=38;5;13:*.axv=38;5;13:*.anx=38;5;13:*.ogv=38;5;13:*.ogx=38;5;13:*.aac=38;5;45:*.au=38;5;45:*.flac=38;5;45:*.mid=38;5;45:*.midi=38;5;45:*.mka=38;5;45:*.mp3=38;5;45:*.mpc=38;5;45:*.ogg=38;5;45:*.ra=38;5;45:*.wav=38;5;45:*.axa=38;5;45:*.oga=38;5;45:*.spx=38;5;45:*.xspf=38;5;45:', 'SHLVL': '3', 'QT_IM_MODULE': 'ibus', 'HISTSIZE': '1000', 'TERM': 'xterm-256color', 'LANG': 'en_US.UTF-8', 'XDG_SESSION_ID': '1', 'DISPLAY': ':0', 'PYCHARM_MATPLOTLIB_PORT': '36222', '_': '/home/kiosk/Downloads/pycharm-2018.3.2/jre64/bin/java', 'GDM_LANG': 'en_US.UTF-8', 'PYTHONIOENCODING': 'UTF-8', 'DESKTOP_SESSION': 'gnome-classic', 'GPG_AGENT_INFO': '/run/user/1000/keyring/gpg:0:1', 'USER': 'kiosk', 'XDG_MENU_PREFIX': 'gnome-', 'WINDOWPATH': '1', 'VTE_VERSION': '3804', 'XDG_SEAT': 'seat0', 'SSH_AUTH_SOCK': '/run/user/1000/keyring/ssh', 'PYTHONUNBUFFERED': '1', 'HOSTNAME': 'foundation70.ilt.example.com', 'QTDIR': '/usr/lib64/qt-3.3', 'GNOME_SHELL_SESSION_MODE': 'classic', 'XDG_RUNTIME_DIR': '/run/user/1000', 'XDG_VTNR': '1', 'QTLIB': '/usr/lib64/qt-3.3/lib', 'HOME': '/home/kiosk'})
/usr/lib64/qt3.3/bin:/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin:/home/kiosk/.local/bin:/home/kiosk/bin

关于路径

#  代码
import os
from os.path import isabs, abspath, join

# # 1. 判断是否为绝对路径---'/tmp/hello', 'hello.png', 'qq/hello.mp3'
print(isabs('/tmp/hello'))
print(isabs('hello.py'))

# 2. 生成绝对路径
# filename = 'hello.py'
filename = 'hello.py'
if not isabs(filename):
    print(abspath(filename))


# # '/tmp/hello' , 'python.txt'   ====> /tmp/hello/python.txt
print(join('/tmp/hello', 'python.txt'))

# 运行结果
True
False
/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/hello.py
/tmp/hello/python.txt

os模块关于文件与目录操作

# 重命名
os.rename('file.txt', 'renamefile.txt')

# 创建和删除目录
os.mkdir('img')
os.rmdir('img')

# 创建和删除文件
os.mknod('hello.txt')
os.remove('hello.txt')

# 查看文件或者目录存在不存在
print(os.path.exists('file.py'))
print(os.path.exists('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/'))

# 分离文件名和后缀名
print(os.path.splitext('hello.txt'))
print(os.path.split('hello.txt'))
# 分离目录名和文件名
print(os.path.split('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01/hello.txt'))

# 运行结果
('hello', '.txt')
('', 'hello.txt')
('/home/kiosk/PycharmProjects/2019PythonProject/week05/day01', 'hello.txt')

练习:    文件批量重命名  

 1. 在当前目录新建目录img, 里面包含100个文件, 100个文件名各不相同(X4G5.png)        

# 代码
"""
生成验证码: 一般是4位组成， 有字母(大写，小写)，数字
"""
import string
import  random
import  os
def generate_code(length=4):
    """
    默认生成4位验证码: 由两个大写字母，一个小写字母和一个数字组成;
    :param length:
    :return:
    """
    # 从某个序列里面随机获取几个元素；
    # code_li = random.sample(string.ascii_letters + string.digits, length)
    code_li = random.sample(string.ascii_uppercase, 2) + random.sample(string.ascii_lowercase, 1) \
              + random.sample(string.digits, 1)
    # 将生成的验证码顺序打乱;
    random.shuffle(code_li)
    # 将列表拼接成字符串
    return  "".join(code_li)

def create_files():
    dirname = 'img'
    if not os.path.exists(dirname):
        os.mkdir(dirname)
        print("目录%s创建成功" %(dirname))


    # 循环100次，创建100个文件
    for count in range(100):
        # 随机生成文件名
        filename = generate_code() + '.png'
        full_filename = os.path.join(dirname, filename )
        os.mknod(full_filename)
        print("%s创建成功" %(full_filename))

create_files()

# 运行结果
img/j1GD.png创建成功
img/J3Wf.png创建成功
img/I9dB.png创建成功
img/J8lQ.png创建成功
img/ES8g.png创建成功
img/BgE5.png创建成功
img/Hv1P.png创建成功
img/9ZVh.png创建成功
img/Rg4T.png创建成功
img/ToH7.png创建成功
img/HI6l.png创建成功
img/z3CU.png创建成功
# 由于篇幅原因，下面省略一部分

2. 将当前img目录所有以.png结尾的后缀名改为.jpg

# 代码
import os


def modify_suffix(dirname, old_suffix, new_suffix):
    """
    'hello.png'  ----'hello.jpg'
    img .png .jpg
    :param dirname: 操作的目录
    :param old_suffix: 原先的后缀名
    :param new_suffix: 新的后缀名
    :return:
    """
    # 0-1).判断源后缀名是否以点开头， 如果不是，则添加;
    if not old_suffix.startswith('.'):
        old_suffix = '.' + old_suffix
    # 0-2). 判断新的后缀名是否以点开头， 如果不是，则添加;
    if not new_suffix.startswith('.'):
        new_suffix = '.' + new_suffix
    # 1. 判断查找的目录是否存在， 如果不存在， 显示报错
    if not os.path.exists(dirname):
        print("Error: 目录%s不存在" % (dirname))
    # 2. 如果文件存在，做如下操作:
    else:
        # 2-1). 列出指定目录的所有文件名;
        filenames = os.listdir(dirname)
        # 2-2). 依次遍历目录的每一个文件；
        for filename in filenames:
            # 2-3). 如果文件是以old_suffix结尾，则对改文件重命名;
            if filename.endswith(old_suffix):
                # 修改后缀名
                # 2-3-1). 将后缀名和文件名本身分隔开； hello.png === hello .png, 并生成新的文件名
                new_filename = os.path.splitext(filename)[0] + new_suffix
                full_old_filename = os.path.join(dirname, filename)
                full_new_filename = os.path.join(dirname, new_filename)
                # 2-3-2). 重命名
                os.rename(full_old_filename, full_new_filename)
                print("重命名【%s】 为【%s】成功!" % (filename, new_filename))


modify_suffix('img', '.jpg', '.png')

# 运行结果
重命名【J8lQ.jpg】 为【J8lQ.png】成功!
重命名【ES8g.jpg】 为【ES8g.png】成功!
重命名【BgE5.jpg】 为【BgE5.png】成功!
重命名【Hv1P.jpg】 为【Hv1P.png】成功!
重命名【9ZVh.jpg】 为【9ZVh.png】成功!
重命名【Rg4T.jpg】 为【Rg4T.png】成功!
重命名【ToH7.jpg】 为【ToH7.png】成功!
重命名【HI6l.jpg】 为【HI6l.png】成功!

# 由于篇幅原因，只展示一部分结果