Python基础总结（六）文件与数据格式化

第六章 文件与数据格式化

目录

第六章 文件与数据格式化

一、文件概述：

（一）文件标识：

（二）文件类型：

（三）标准文件：

  二、文件的基础操作：

1.文件的打开与关闭：

2. 文件的读写：

  三、字符与编码：

  四、文件的定位读写：

1.tell()方法：

2.seek()方法：

  五、文件与目录管理：

  六、数据维度与数据格式化：

 （一）一二维数据的存储与读写：

1.数据存储：

2.数据读取：

3.数据写入：

 （二） 多维数据的格式化：

 1.dumps()函数：

 2.loads()函数：

---

一、文件概述：

（一）文件标识：

（1）文件标识的 意义 ：找到计算机中 唯一确定 的文件。

（2）文件标识的 组成 ：文件路径、文件名主干、文件扩展名。

         （3）操作系统以文件为单位对数据进行管理。

（二）文件类型：

根据数据的逻辑存储结构，人们将计算机中的文件分为文本文件和二进制文件。

（1） 文本文件 ：专门存储 文本字符 数据。

（2） 二进制文件 ：不能直接使用文字处理程序正常读写，必须先了解其结构和序列化规则，再设计正确的反序列化规则，才能正确获取文件信息。

 （三）标准文件：

Python的sys模块中定义了3个标准文件，分别为：（在解释器中导入sys模块后，便可对标准文件进行操作）

（1） stdin （标准输入文件）。标准输入文件对应输入设备，如键盘。

（2） stdout （标准输出文件）。

（3） stderr （标准错误文件）。标准输出文件和标准错误文件对应输出设备，如显示器。

 例如：

import sys
file = sys.stdout
file.write("hello")

---

二、文件的基础操作：

 文件的打开、关闭与读写是文件的基础操作，任何更复杂的文件操作都离不开这些操作。

1.文件的打开与关闭：

（1）文件的打开：

内置函数open()用于打开文件，该方法的声明如下：

open(file, mode='r', buffering=-1)

 

 【返回值】

• 若 open() 函数调用成功，返回一个文件对 象。

file1 = open('E:\\a.txt')		# 以只读方式打开E盘的文本文件a.txt
file2 = open('b.txt', 'w')		# 以只写方式打开当前目录的文本文件b.txt
file3 = open('c.txt', 'w+')		# 以读/写方式打开文本文件c.txt
file4 = open('d.txt', 'wb+')	# 以读/写方式打开二进制文件d.txt

（2）文件的关闭：

Python可通过close()方法关闭文件，也可以使用with语句实现文件的自动关闭。

close()方法：

file.close()

with语句：

with open('a.txt') as f:
        pass

及时关闭文件的原因：

（1）计算机中可打开的文件数量是有 限；

（2）打 开的文件占用系统资 源；

（3）若 程序因异常关闭，可能产生数据丢 失。

2. 文件的读写：

Python提供了一系列读写文件的方法，包括读取文件的read()、readline()、readlines()方法和写文件的write()、writelines()方法，下面结合这些方法分别介绍如何读写文件。

（1）读取文件——read()方法：

read()方法可以从指定文件中读取指定字节的数据，其语法格式如下：

read(n=-1)

with open('file.txt', mode='r') as f:
    print(f.read(2))   						# 读取两个字节的数据
    print(f.read())    						# 读取剩余的全部数据

（2）读取文件——readline()方法：

readline()方法可以从指定文件中读取一行数据，其语法格式如下：

readline()

with open('file.txt', mode='r', encoding='utf-8') as f:
    print(f.readline())
    print(f.readline())

readlines()方法可以一次读取文件中的所有数据，若读取成功，该方法会返回一个列表，文件中的每一行对应列表中的一个元素。语法格式如下：

readlines(hint=-1)

•参数hint的单位为字节，它用于控制要读取的行数

•如果行中数据的总大小超出了hint字节，readlines()不会再读取更多的行。

with open('file.txt', mode='r', encoding='utf-8') as f:
    print(f.readlines())          #使用readlines()方法读取数据

read()（参数缺省时）和readlines()方法都可一次读取文件中的全部数据。但因为计算机的内存是有限的，若文件较大，read()和readlines()的一次读取便会耗尽系统内存，所以这两种操作都不够安全。为了保证读取安全，通常多次调用read()方法，每次读取size字节的数据。

（3）写文件——write()方法：

write()方法可以将指定字符串写入文件，其语法格式如下：

write(data)

以上格式中的参数data表示要写入文件的数据，若数据写入成功，write()方法会返回本次写入文件的数据的字节数。

string = "Here we are all, by day; by night."		# 字符串
with open('write_file.txt', mode='w', encoding='utf-8') as f:	
    size = f.write(string)					        # 写入字符串
    print(size)						                # 打印字节数

（4）写文件——writelines()方法：

writelines()方法用于将行列表写入文件，其语法格式如下：

writelines(lines)

•以上格式中的参数lines表示要写入文件中的数据，该参数可以是一个字符串或者字符串列表。

•若写入文件的数据在文件中需要换行，需要显式指定换行符。

string = "Here we are all, by day;\nby night we're hurl'd By dreams, 
each one into a several world."
with open('write_file.txt', mode='w', encoding='utf-8') as f:
    f.writelines(string)

 

---

三、字符与编码：

文本文件支持多种编码方式，不同编码方式下字符与字节的对应关系不同，常见的编码方式以及字符与字节的对应关系如表所示。

 

---

 四、文件的定位读写：

1.tell()方法：

tell()方法用于获取文件当前的读写位置，以操作文件file.txt为例，tell()的用法如下：

with open('file.txt') as f:
    print(f.tell())					# 获取文件读写位置
    print(f.read(5))				# 利用read()方法移动文件读写位置
    print(f.tell())					# 再次获取文件读写位置

2.seek()方法：

Python提供了seek()方法，使用该方法可控制文件的读写位置，实现文件的随机读写。seek()方法的语法格式如下：（seek()方法调用成功后会返回当前读写位置。）

seek(offset, from)

（1）offset：表示偏移量，即读写位置需要移动的字节数。

（2）from：用于指定文件的读写位置，该参数的取值为0、1、2。

 

with open('file.txt') as f:
    print(f.tell())					# 获取文件读写位置
    print(f.read(5))				# 利用read()方法移动文件读写位置
    print(f.tell())					# 再次获取文件读写位置

需要注意的是，在Python3中，若打开的是文本文件，那么seek()方法只允许相对于文件开头移动文件位置，若在参数from值为1、2的情况下对文本文件进行位移操作，将会产生错误。                

with open('file.txt') as f:
    f.seek(5,0)								# 相对文件开头移动5字节
    f.seek(3,1)

若要相对当前读写位置或文件末尾进行位移操作，需以二进制形式打开文件。

with open('file.txt','rb') as f:
    f.seek(5,0)
    f.seek(3,1)

  

---

五、文件与目录管理：

os模块中定义了与文件操作相关的函数，利用这些函数可以实现删除文件、文件重命名、创建/删除目录、获取当前目录、更改默认目录与获取目录列表等操作。

   

---

六、数据维度与数据格式化：

 从广义上讲，维度是与事物“有联系”的概念的数量，根据“有联系”的概念的数量，事物可分为不同维度。根据组织数据时与数据有联系的参数的数量，数据可分为一维数据、二维数据和多维数据。

 示例：

 

 （一）一二维数据的存储与读写：

1.数据存储：

一维数据呈线性排列，一般用特殊字符分隔，例如：

• 使用空格分隔：成都 杭州 重庆 武汉 苏州 西安 天津

• 使用逗号分隔：成都 , 杭州 , 重庆 , 武汉 , 苏州 , 西安 , 天津

       • 使用&分隔：成都&杭州&重庆&武汉&苏州&西安&天津

一维数据的存储需要注意以下几点：

• 同一文件或同组文件一般使用同一分隔符分隔。

• 分隔数据的分隔符不应出现在数据中。

• 分隔符为英文半角符号，一般不使用中文符号作为分隔符。

• 二维数据可视为多条一维数据的集合，当二维数据只有一个元素时，这个二维数据就是一维数据。

• CSV （ Commae-Separeted Values ，逗号分隔值）是国际上通用的一二维数据存储格式。

CSV格式规范：

• 以纯文本形式存储表格数据

• 文件的每一行对应表格中的一条数据记录

• 每条记录由一个或多个字段组成

字段之间使用逗号（英文、半角）分隔

CSV也称字符分隔值，具体示例如下：

姓名,语文,数学,英语,理综

刘婧,124,137,145,260

张华,116,143,139,263

邢昭林,120,130,148,255

鞠依依,115,145,131,240

黄丽萍,123,108,121,235

赵越,132,100,112,210

2.数据读取：

• Windows 平台中 CSV 文件的后缀名为 .csv ，可通过 Office Excel 或记事本打开

• Python 在程序中读取 .csv 文件后会以二维列表形式存储其中内容

csv_file = open('score.csv')
lines = []
for line in csv_file:
		line = line.replace('\n','')
		lines.append(line.split(','))
print(lines)
csv_file.close()

3.数据写入：

 将一、二维数据写入文件中，即按照数据的组织形式，在文件中添加新的数据。

示例：在保存学生成绩的文件score.csv中写入每名学生的总分。

 （二） 多维数据的格式化：

为了直观地表示多维数据，也为了便于组织和操作，三维及以上的多维数据统一采用键值对的形式进行格式化。

网络平台上传递的数据大多是高维数据，JSON是网络中常见的高维数据格式。JSON格式的数据遵循以下语法规则：

• 数据存储在 键值对 （ key:value ）中，例如 “ 姓名 ” : “ 张华 ” 。

• 数据的字段由 逗号分隔 ，例如 “ 姓名 ”: “ 张华 ”, “ 语文 ”: “116” 。

• 一个 花括号 保存一个 JSON 对象，例如 {“ 姓名 ”: “ 张华 ”, “ 语文 ”: “116”} 。

• 一个 方括号 保存一个数组，例如 [{“ 姓名 ”: “ 张华 ”, “ 语文 ”: “116”}] 。

 

 JSON模块——json ：

利用json模块的dumps()函数和loads()函数可以实现Python对象和JSON数据之间的转换，这两个函数的具体功能如表所示：

 Python对象与JSON数据转化时的类型对照表：

 1.dumps()函数：

示例：使用dumps()函数对Python对象进行转码。

>>> import json
>>> pyobj = [[1, 2, 3], 345, 23.12, 'qwe', {'key1':(1,2,3), 'key2':(2,3,4)}, True, False, None]
>>> jsonstr = json.dumps(pyobj)
>>> print(jsonstr)
>>> [[1, 2, 3], 345, 23.12, "qwe", {"key1": [1, 2, 3], "key2": [2, 3, 4]}, true, false, null]

2.loads()函数：

示例：使用loads()函数将JSON数据转换为符合Python语法要求的数据类型。

>>> import json
>>> jsonstr = [[1, 2, 3], 345, 23.12, "qwe", {"key1": [1, 2, 3], "key2": [2, 3, 4]}, true, false, null]
>>> pydata = json.loads(jsonstr)
>>> print(pydata)
[[1, 2, 3], 345, 23.12, 'qwe', {'key1': [1, 2, 3], 'key2': [2, 3, 4]}, True, False, None]