第七章文件与数据格式化

7.1    文件概述

一．文件标识

• 文件标识的意义：找到计算机中唯一确定的文件。
• 文件标识的组成：文件路径、文件名主干、文件扩展名。 

• 操作系统以文件为单位对数据进行管理。

二．文件类型

根据数据的逻辑存储结构，人们将计算机中的文件分为文本文件和二进制文件。

1. 文本文件：专门存储文本字符数据。
2. 二进制文件：不能直接使用文字处理程序正常读写，必须先了解其结构和序列化规则，再设计正确的反序列化规则，才能正确获取文件信息。

二进制文件和文本文件这两种类型的划分基于数据逻辑存储结构而非物理存储结构，计算机中的数据在物理层面都以二进制形式存储。

三．标椎文件

Python的sys模块中定义了3个标准文件，分别为：

• stdin（标准输入文件）。标准输入文件对应输入设备，如键盘。
• stdout（标准输出文件）。
• stderr（标准错误文件）。标准输出文件和标准错误文件对应输出设备，如显示器。

在解释器中导入sys模块后，便可对标准文件进行操作。

import sys

file = sys.stdout

file.write("hello")

7.2   文件的基础操作

一．打开文件

内置函数open()用于打开文件

open(file, mode='r', buffering=-1)

• file：文件的路径。
• mode：设置文件的打开模式，取值有r、w、a。
• buffering：设置访问文件的缓冲方式。取值为0或1。
• r：以只读方式打开文件（mode参数的默认值）。
• w：以只写方式打开文件。
• a：以追加方式打开文件。
• b：以二进制形式打开文件。
• +：以更新的方式打开文件（可读可写）

 

若open()函数调用成功，返回一个文件对象。

file1 = open('E:\\a.txt')           # 以只读方式打开E盘的文本文件a.txt

file2 = open('b.txt', 'w')          # 以只写方式打开当前目录的文本文件b.txt

file3 = open('c.txt', 'w+')        # 以读/写方式打开文本文件c.txt

file4 = open('d.txt', 'wb+') # 以读/写方式打开二进制文件d.txt

若待打开的文件不存在，文件打开失败，程序会抛出异常，并打印错误信息。

FileNotFoundError                  Traceback (most recent call last)
<ipython-input-5-23b0bb5a2ffc> in <module>
----> 1 file1 = open("b.txt")
FileNotFoundError: [Errno 2] No such file or directory: 'b.txt'

二．关闭文件

Python可通过close()方法关闭文件，也可以使用with语句实现文件的自动关闭。

（1）close()方法

• close()方法是文件对象的内置方法。

file.close()

（2）with语句

• with语句可预定义清理操作，以实现文件的自动关闭。

with open('a.txt') as f:

        pass

注意：要及时关闭文件

• 计算机中可打开的文件数量是有限
• 打开的文件占用系统资源
• 若程序因异常关闭，可能产生数据丢失

三．文件的读写

1）读取文件

Python提供了一系列读写文件的方法，包括读取文件的read()、readline()、readlines()方法和写文件的write()、writelines()方法

1.读取文件——read()方法

read()方法可以从指定文件中读取指定字节的数据

read(n=-1)

with open('file.txt', mode='r') as f:

    print(f.read(2))                                     # 读取两个字节的数据

    print(f.read())                                      # 读取剩余的全部数据

2.读取文件——readline()方法

readline()方法可以从指定文件中读取一行数据

readline()

with open('file.txt', mode='r', encoding='utf-8') as f:

    print(f.readline())

    print(f.readline())

readlines()方法可以一次读取文件中的所有数据，若读取成功，该方法会返回一个列表，文件中的每一行对应列表中的一个元素。

readlines(hint=-1)

• 参数hint的单位为字节，它用于控制要读取的行数
• 如果行中数据的总大小超出了hint字节，readlines()不会再读取更多的行。

with open('file.txt', mode='r', encoding='utf-8') as f:

    print(f.readlines())                      # 使用readlines()方法读取数据

注意：

read()（参数缺省时）和readlines()方法都可一次读取文件中的全部数据

但因为计算机的内存是有限的，若文件较大，read()和readlines()的一次读取便会耗尽系统内存，所以这两种操作都不够安全。

为了保证读取安全，通常多次调用read()方法，每次读取size字节的数据。

2）写文件

1.写文件——write()方法

write()方法可以将指定字符串写入文件

write(data)

以上格式中的参数data表示要写入文件的数据，若数据写入成功，write()方法会返回本次写入文件的数据的字节数。

string = "Here we are all, by day; by night."           # 字符串

with open('write_file.txt', mode='w', encoding='utf-8') as f:

    size = f.write(string)                         # 写入字符串

    print(size)                                 # 打印字节数

writelines()方法用于将行列表写入文件

writelines(lines)

• 以上格式中的参数lines表示要写入文件中的数据，该参数可以是一个字符串或者字符串列表。
• 若写入文件的数据在文件中需要换行，需要显式指定换行符。

string = "Here we are all, by day;\nby night we're hurl'd By dreams,

each one into a several world."

with open('write_file.txt', mode='w', encoding='utf-8') as f:

    f.writelines(string)

3）字符与编码

文本文件支持多种编码方式，不同编码方式下字符与字节的对应关系不同，常见的编码方式以及字符与字节的对应关系如表所示。

 

4）文件的定位读写

• 在文件的一次打开与关闭之间进行的读写操作是连续的，程序总是从上次读写的位置继续向下进行读写操作。
• 每个文件对象都有一个称为“文件读写位置”的属性，该属性会记录当前读写的位置。
• 文件读写位置默认为0，即在文件首部。

Python提供了一些获取与修改文件读写位置的方法，以实现文件的定位读写。

• tell()。获取文件当前的读写位置。
• seek()。控制文件的读写位置。

1. tell()方法

tell()方法用于获取文件当前的读写位置

with open('file.txt') as f:

    print(f.tell())                       # 获取文件读写位置

    print(f.read(5))                   # 利用read()方法移动文件读写位置

    print(f.tell())                       # 再次获取文件读写位置

2.seek()方法

Python提供了seek()方法，使用该方法可控制文件的读写位置，实现文件的随机读写。

seek(offset, from)

1. offset：表示偏移量，即读写位置需要移动的字节数。
2. from：用于指定文件的读写位置，该参数的取值为0、1、2。

0：表示文件开头。

1：表示使用当前读写位置。

2：表示文件末尾。

1. seek()方法调用成功后会返回当前读写位置

with open('file.txt') as f:

   print(f.tell())                          # 获取文件读写位置

    print(f.read(5))                    # 利用read()方法移动文件读写位置

    print(f.tell())                       # 再次获取文件读写位置

需要注意的是，在Python3中，若打开的是文本文件，那么seek()方法只允许相对于文件开头移动文件位置，若在参数from值为1、2的情况下对文本文件进行位移操作，将会产生错误。

with open('file.txt') as f:

    f.seek(5,0)                                           # 相对文件开头移动5字节

    f.seek(3,1)

若要相对当前读写位置或文件末尾进行位移操作，需以二进制形式打开文件。

with open('file.txt','rb') as f:

    f.seek(5,0)

    f.seek(3,1)

7.3    文件与目录管理

1）对于用户而言，文件和目录以不同的形式展现，但对计算机而言，目录是文件属性信息集合，它本质上也是一种文件。

2）os模块中定义了与文件操作相关的函数，利用这些函数可以实现删除文件、文件重命名、创建/删除目录、获取当前目录、更改默认目录与获取目录列表等操作。

3）管理文件与目录：

• 删除文件——os.remove(文件名)
• 文件重命名——os.rename(原文件名,新文件名)
• 创建/删除目录——os.mkdir(目录名)/os.rmdir(目录名)
• 获取当前目录——os.getcwd()
• 更改默认目录——os.chdir(路径名)
• 获取目录列表——os.listdir(目录/路径）

7.5    数据维度与数据格式化

1）维度：从广义上讲，维度是与事物“有联系”的概念的数量，根据“有联系”的概念的数量，事物可分为不同维度。

2）基于维度的数据分类：

根据组织数据时与数据有联系的参数的数量，数据可分为一维数据、二维数据和多维数据。

 

例子：

 

3）一二维数据的存储与读写

1.数据存储

①一维数据呈线性排列，一般用特殊字符分隔，例如：

• 使用空格分隔：成都 杭州 重庆 武汉 苏州 西安 天津
• 使用逗号分隔：成都,杭州,重庆,武汉,苏州,西安,天津

使用&分隔：成都&杭州&重庆&武汉&苏州&西安&天津

②一维数据的存储需要注意以下几点：

• 同一文件或同组文件一般使用同一分隔符分隔。
• 分隔数据的分隔符不应出现在数据中。
• 分隔符为英文半角符号，一般不使用中文符号作为分隔符。
• 二维数据可视为多条一维数据的集合，当二维数据只有一个元素时，这个二维数据就是一维数据。
• CSV（Commae-Separeted Values，逗号分隔值）是国际上通用的一二维数据存储格式。

③CSV格式规范：

• 以纯文本形式存储表格数据
• 文件的每一行对应表格中的一条数据记录
• 每条记录由一个或多个字段组成
• 字段之间使用逗号（英文、半角）分隔

CSV也称字符分隔值，具体示例如下：

姓名,语文,数学,英语,理综

刘婧,124,137,145,260

张华,116,143,139,263

邢昭林,120,130,148,255

鞠依依,115,145,131,240

黄丽萍,123,108,121,235

赵越,132,100,112,210

2.数据读取

• Windows平台中CSV文件的后缀名为.csv，可通过Office Excel或记事本打开
• Python在程序中读取.csv文件后会以二维列表形式存储其中内容

csv_file = open('score.csv')

lines = []

for line in csv_file:

        line = line.replace('\n','')

        lines.append(line.split(','))

print(lines)

csv_file.close()

3.数据写入

将一、二维数据写入文件中，即按照数据的组织形式，在文件中添加新的数据。

示例：在保存学生成绩的文件score.csv中写入每名学生的总分。

4）多维数据的格式化

1.为了直观地表示多维数据，也为了便于组织和操作，三维及以上的多维数据统一采用键值对的形式进行格式化。网络平台上传递的数据大多是高维数据，JSON是网络中常见的高维数据格式。

2.JSON格式的数据遵循的语法规则：

• 数据存储在键值对（key:value）中，例如“姓名”: “张华”。
• 数据的字段由逗号分隔，例如“姓名”: “张华”, “语文”: “116”。
• 一个花括号保存一个JSON对象，例如{“姓名”: “张华”, “语文”: “116”}。
• 一个方括号保存一个数组，例如[{“姓名”: “张华”, “语文”: “116”}]。

 

3.利用json模块的dumps()函数和loads()函数可以实现Python对象和JSON数据之间的转换

Python对象与JSON数据转化时的类型对照表

• dumps()函数

使用dumps()函数对Python对象进行转码。

>>> import json

>>> pyobj = [[1, 2, 3], 345, 23.12, 'qwe', {'key1':(1,2,3), 'key2':(2,3,4)}, True, False, None]

>>> jsonstr = json.dumps(pyobj)

>>> print(jsonstr)

>>> [[1, 2, 3], 345, 23.12, "qwe", {"key1": [1, 2, 3], "key2": [2, 3, 4]}, true, false, null]

• loads()函数

使用loads()函数将JSON数据转换为符合Python语法要求的数据类型。

>>> import json

>>> jsonstr = [[1, 2, 3], 345, 23.12, "qwe", {"key1": [1, 2, 3], "key2": [2, 3, 4]}, true, false, null]

>>> pydata = json.loads(jsonstr)

>>> print(pydata)

[[1, 2, 3], 345, 23.12, 'qwe', {'key1': [1, 2, 3], 'key2': [2, 3, 4]}, True, False, None]