Python进阶（文件与数据格式化）

一、什么是文件

1.文件标识

文件标识的意义：找到计算机中唯一确定的文件。

文件标识的组成：文件路径、文件名主干、文件扩展名。

2.文件类型

根据数据的逻辑存储结构，人们将计算机中的文件分为文本文件和二进制文件。

文本文件：专门存储文本字符数据。

二进制文件：不能直接使用文字处理程序正常读写，必须先了解其结构和序列化规则，再设计正确的反序列化规则，才能正确获取文件信息。

扩展：标准文件

Python的sys模块中定义了3个标准文件，分别为： 

        （1）stdin（标准输入文件）。标准输入文件对应输入设备，如键盘。

        （2）stdout（标准输出文件）。

（3） stderr （标准错误文件）。标准输出文件和标准错误文件对应输出设备，如显示器。
在解释器中导入sys模块后，便可对标准文件进行操作。 

import sys
file = sys.stdout
file.write("hello")
二、文件的基础操作

文件的打开、关闭与读写是文件的基础操作，任何更复杂的文件操作都离不开这些操作。

1.打开文件

内置函数open()用于打开文件，该方法的声明如下：

open(file, mode='r', buffering=-1)

file ：文件的路径。
mode ：设置文件的打开模式，取值有 r 、 w 、 a 。
       
          r ： 以只读方式打开文件 （ mode 参数的默认值）。
        
         w： 以 只写 方式打开文件 。
         a ： 以追加方式打开文件 。
          b ： 以二进制形式打开文件 。
         +： 以更新的方式打开文件（可读可写）
buffering ：设置访问文件的缓冲方式。取值为 0 或 1 。

若open()函数调用成功，返回一个文件对象。

file1 = open('E:\\a.txt')        # 以只读方式打开E盘的文本文件a.txt
file2 = open('b.txt', 'w')        # 以只写方式打开当前目录的文本文件b.txt
file3 = open('c.txt', 'w+')        # 以读/写方式打开文本文件c.txt
file4 = open('d.txt', 'wb+')    # 以读/写方式打开二进制文件d.txt
若待打开的文件不存在，文件打开失败，程序会抛出异常，并打印错误信息。 

file1 = open('hello.txt')
 
''' 错误信息：
Traceback (most recent call last):
  File "D:/rzm_python/Test.py", line 8, in <module>
    file1 = open('heelo.txt')
FileNotFoundError: [Errno 2] No such file or directory: 'heelo.txt' '''
2.关闭文件 

Python可通过close()方法关闭文件，也可以使用with语句实现文件的自动关闭。

（1）close方法

        file.close()

（2）with语句

        with open('a.txt') as f:

        pass

问题：为什么要及时关闭文件？

（1） 计算机中可打开的文件数量是有 限
（2） 打 开的文件占用系统资 源
（3） 若 程序因异常关闭，可能产生数据丢 失
3.文件的读写

Python提供了一系列读写文件的方法，包括读取文件的read()、readline()、readlines()方法和写文件的write()、writelines()方法，下面结合这些方法分别介绍如何读写文件。

（1）读取文件——read()方法

read()方法可以从指定文件中读取指定字节的数据，其语法格式如下：

read(n=-1)

with open('file.txt', mode='r') as f:
    print(f.read(2))                           # 读取两个字节的数据
    print(f.read())                            # 读取剩余的全部数据
（2）读取文件——readline()方法

readline()方法可以从指定文件中读取一行数据，其语法格式如下：

readline()

file1 = open('hello.txt',mode = 'r',encoding = 'utf-8')
print(file1.readline()) # HelloWorld！！！
（3）读取文件——readlines()方法

readlines()方法可以一次读取文件中的所有数据，若读取成功，该方法会返回一个列表，文件中的每一行对应列表中的一个元素。语法格式如下：

readlines(hint=-1)

参数 hint 的单位为字节，它用于控制要读取的行 数
如 果行中数据的总大小超出了 hint 字节， readlines() 不会再读取更多的行。
 

file1 = open('hello.txt',mode = 'r',encoding = 'utf-8')
print(file1.readlines()) # ['HelloWorld！！！\n', 'heihei\n']
 读取文件时的注意点：

read()（参数缺省时）和readlines()方法都可一次读取文件中的全部数据

但因为计算机的内存是有限的，若文件较大，read()和readlines()的一次读取便会耗尽系统内存，所以这两种操作都不够安全。

为了保证读取安全，通常多次调用read()方法，每次读取size字节的数据。

（4）写文件——write()方法

write()方法可以将指定字符串写入文件，其语法格式如下：

write(data)

以上格式中的参数data表示要写入文件的数据，若数据写入成功，write()方法会返回本次写入文件的数据的字节数。

file1 = open('hello.txt',mode = 'w',encoding = 'utf-8')
string = "python"
size = file1.write(string)
print(size) # 6
（5）写文件——writelines()方法

writelines()方法用于将行列表写入文件，其语法格式如下：

writelines(lines)

• 以上格式中的参数 lines 表示要写入文件中的数据，该参数可以是一个字符串或者字符串列表 。
• 若 写入文件的数据在文件中需要换行，需要显式指定换行符。
file1 = open('hello.txt',mode = 'w',encoding = 'utf-8')
string = ['python\n','java\n','mysql\n','jdbc\n','go']
file1.writelines(string)
 
  

扩展：字符与编码

文本文件支持多种编码方式，不同编码方式下字符与字节的对应关系不同，常见的编码方式以及字符与字节的对应关系如表所示。

 三、文件的定位读写

（1） 在文件的一次打开与关闭之间进行的读写操作是连续的，程序总是从上次读写的位置继续向下进行读写操作 。
（2） 每 个文件对象都有一个称为“文件读写位置”的属性，该属性会记录当前读写的位置 。
（3） 文件读写位置默认为 0 ，即在文件首部。
Python提供了一些获取与修改文件读写位置的方法，以实现文件的定位读写。

tell() ： 获取文件当前的读写位 置。
seek() ： 控制文件的读写位 置。
1.tell方法

tell()方法用于获取文件当前的读写位置，以操作文件file.txt为例，tell()的用法如下：

with open('hello.txt') as f:
    print(f.tell()) # 0
    print(f.read(5)) # here
    print(f.tell()) # 5
2.seek方法 

Python提供了seek()方法，使用该方法可控制文件的读写位置，实现文件的随机读写。seek()方法的语法格式如下：

seek(offset, from)

offset ：表示偏移量，即读写位置需要移动的字节数。
from ：用于指定文件的读写位置，该参数的取值为 0 、 1 、 2 。
    

0：表示文件开头。 1：表示使用当前读写位置。2：表示文件末尾。

seek()方法调用成功后会返回当前读写位置。

with open('hello.txt') as f:
    print(f.seek(5,0)) # 5
    print(f.tell()) # 5
使用seek方法的注意点：

需要注意的是，在Python3中，若打开的是文本文件，那么seek()方法只允许相对于文件开头移动文件位置，若在参数from值为1、2的情况下对文本文件进行位移操作，将会产生错误。

with open('hello.txt') as f:
    print(f.seek(5,1))
    print(f.tell())
# 错误信息：
''' Traceback (most recent call last):
  File "D:/rzm_python/Test.py", line 9, in <module>
    print(f.seek(5,1))
io.UnsupportedOperation: can't do nonzero cur-relative seeks '''
 若要相对当前读写位置或文件末尾进行位移操作，需以二进制形式打开文件。

with open('hello.txt',mode = 'rb') as f:
    print(f.seek(3,1)) # 3
    print(f.seek(5,2)) # 34
 

 四、文件与目录管理

对于用户而言，文件和目录以不同的形式展现，但对计算机而言，目录是文件属性信息集合，它本质上也是一种文件。

os模块中定义了与文件操作相关的函数，利用这些函数可以实现删除文件、文件重命名、创建/删除目录、获取当前目录、更改默认目录与获取目录列表等操作。

管理文件与目录的方法：

删除文件 ——os. remove ( 文件名 )
文件重命名 ——os. rename ( 原文件名 , 新文件名 )
创建 / 删除目录 ——os. mkdir ( 目录名 )/os.rmdir( 目录名 )
获取当前目录 ——os. getcwd ()
更改默认目录 ——os. chdir ( 路径名 )
获取目录列表 ——os. listdir ( 目录 / 路径）
 

 五、数据维度与数据格式化

1.维度：从广义上讲，维度是与事物“有联系”的概念的数量，根据“有联系”的概念的数量，事物可分为不同维度。

 根据组织数据时与数据有联系的参数的数量，数据可分为一维数据、二维数据和多维数据。

         一维数据：具有对等关系的一组线性数据，如：一维列表、一维元组、集合

         二维数据：二维数据关联参数的数量为2，如：矩阵、二维数组、二维列表、二维元组

         多维数据：利用键值对等简单的二院关系展示数据间的复杂结构，如：字典

2.数据维度的示例 

一维数据：成都,杭州,重庆,武汉,苏州,西安,天津,南京,郑州,长沙,沈阳,青岛,宁波,东莞,无锡

二维数据：

多维数据：

“高三某班考试成绩”:[

   {“姓名”: “刘婧”,

   “语文”: “124”,

   “数学”: “137”,

  “英语”: “145”,

  “理综”: “260” };

  {“姓名”: “张华”,

   “语文”: “116”,

   “数学”: “143”,

   “英语”: “139”,

   “理综”: “263” };

  ……

  ]

六、多维数据的存储和读写： 

1.一维数据的存储：

一维数据呈线性排列，一般用特殊字符分隔，例如：

（1） 使用空格分隔：成都 杭州 重庆 武汉 苏州 西安 天津
（2） 使用逗号分隔：成都 , 杭州 , 重庆 , 武汉 , 苏州 , 西安 , 天津
（3） 使用 & 分隔：成都 & 杭州 & 重庆 & 武汉 & 苏州 & 西安 & 天津
一维数据的存储需要注意以下几点：

• 同一文件或同组文件一般使用同一分隔符分隔。
• 分隔数据的分隔符不应出现在数据中。
• 分隔符为英文半角符号，一般不使用中文符号作为分隔符。
 

 2.二维数据的存储：

（1）二维数据可视为多条一维数据的集合，当二维数据只有一个元素时，这个二维数据就是一维数据。
（2）CSV （ Commae-Separeted Values ，逗号分隔值）是国际上通用的一二维数据存储格式。
扩展：CSV格式规范：

（1） 以纯文本形式存储表格数据
（2） 文件的每一行对应表格中的一条数据记录
（3） 每条记录由一个或多个字段组成
（4） 字段之间使用逗号（英文、半角）分隔
 

3.一、二维数据的读写：

读取：

Windows 平台中 CSV 文件的后缀名为 .csv ，可通过 Office Excel 或记事本打开
Python 在程序中读取 .csv 文件后会以二维列表形式存储其中内容
写入： 

        将一、二维数据写入文件中，即按照数据的组织形式，在文件中添加新的数据。

 4.多维数据的格式化

为了直观地表示多维数据，也为了便于组织和操作，三维及以上的多维数据统一采用键值对的形式进行格式化。

网络平台上传递的数据大多是高维数据，JSON是网络中常见的高维数据格式。JSON格式的数据遵循以下语法规则：

（1）数据存储在 键值对 （ key:value ）中，例如 “ 姓名 ” : “ 张华 ” 。
（2）数据的字段由 逗号分隔 ，例如 “ 姓名 ”: “ 张华 ”, “ 语文 ”: “116” 。
（3）一个 花括号 保存一个 JSON 对象，例如 {“ 姓名 ”: “ 张华 ”, “ 语文 ”: “116”} 。
（4）一个 方括号 保存一个数组，例如 [{“ 姓名 ”: “ 张华 ”, “ 语文 ”: “116”}] 。
JSON模块——json

利用json模块的dumps()函数和loads()函数可以实现Python对象和JSON数据之间的转换，这两个函数的具体功能如表所示。

 Python对象与JSON数据转化时的类型对照表