Python-5.文件和数据格式化

一、文件的使用

• 文件的类型
• 文件的打开和关闭
• 文件内容的读取
• 数据的文件写入

1.1 文件的类型

• 文件的理解

  文件是数据的抽象和集合

  • 文件是存储在辅助存储器上的数据序列
  • 文件是数据存储的一种形式
  • 文件展现形态：文本文件和二进制文件

  文本文件 vs. 二进制文件

  • 文本文件和二进制文件只是文件的展示方式
  • 本质上，所有文件都是二进制形式存储
  • 形式上，所有文件采用两种方式展示

  文本文件

  • 由单一特定编码组成的文件，如UTF-8编码
  • 由于存在编码，也被看成是存储着的长字符串
  • 适用于例如：.txt文件、.py文件等

  二进制文件

  • 直接由比特0和1组成，没有统一字符编码
  • 一般存在二进制0和1的组织结构，即文件格式
  • 适用于例如：.png文件、.avi文件等

  "中国是个伟大的国家!"
  
  ☆ 文本形式
  中国是个伟大的国家!
  
  ☆ 二进制形式
  b'\xd6\xd0\xb9\xfa\xca\xc7\xb8\xf6\xce\xb0\xb4\xf3\xb5\xc4\xb9\xfa\xbc\xd2\xa3\xa1'
  

1.2 文件的打开和关闭

文件处理的步骤: 打开-操作-关闭

• 文件的打开

文件路径

打开模式

文件的打开模式	描述
‘r’	默认值，只读模式，如果文件不存在，返回FileNotFoundError。
‘w’	覆盖写模式，文件不存在则创建，存在则完全覆盖。
‘x’	创建写模式，文件不存在则创建，存在则返回FileExistsError。
‘a’	追加写模式，文件不存在则创建，存在则在文件最后追加内容。
‘t’	默认值，文本文件模式。
‘b’	二进制文件模式。
‘+’	与r/w/x/a一同使用，在原功能基础上增加同时读写功能。

• 文件的关闭

• 文件的使用

#文本形式打开文件
tf = open("f.txt", "rt")
print(tf.readline())
tf.close()

#二进制形式打开文件
bf = open("f.txt", "rb")
print(bf.readline())
bf.close()

1.3 文件内容的读取

操作方法	描述
.read(size=-1)	读入全部内容，如果给出参数，读入前size长度。>>> s=f.read(2)中国
.readline(size=-1)	读入一行内容，如果给出参数，读入该行前size长度。>>> s=f.readline()中国是一个伟大的国家。
.readlines(hint=-1)	读入文件所有行，以每行为元素形成列表，如果给出参数，读入前hint行。 >>> s=f.readlines()[‘中国是一个伟大的国家’]

• 文件的全文本操作

方法一：
fname=input("请输入要打开的文件名称：")
fo=open(fname,"r")
txt=fo.read()       #一次读入，统一处理
#对全文txt进行处理
fo.close()

方法二：
fname=input("请输入要打开的文件名称：")
fo=open(fname,"r")
txt=fo.read(2)      #按数量读入，逐步处理
while txt !="":
    #对txt进行处理
    txt=fo.read(2)  #按数量读入，逐步处理
fo,,close()

• 文件的逐行操作

方法一：
fname = input("请输入要打开的文件名称:")
fo = open(fname,"r")
for line in fo.readlines():     #一次读入，分行处理
    print(line)
fo.close()

方法二：
fname = input("请输入要打开的文件名称：")
fo=open(fname,"r")
for line in fo:
    print(line)     #分行读入，逐行处理
fo.close()

1.4 数据的文件写入

操作方法	描述
.write(s)	向文件写入一个字符串或字节流。>>>f.write(“中国是一个伟大的国家！”)
.writelines(lines)	将一个元素全为字符串的列表写入文件>>>ls=[“中国”,“法国”,“美国”]>>>f.writelines(ls)中国法国美国
.seek(offset)	改变当前文件操作指针的位置，offset含义如下：0-文件开头；1-当前位置；2-文件结尾>>>f.seek(0) #回到文件开头

fo = open("output.txt","w+")
ls = ["中国", "法国", "美国"]
fo.writelines(ls)
fo.seek(0)
for line in fo:
    print(line)
fo.close()

实例11: 自动轨迹绘制

"自动轨迹绘制"问题分析

• 需求：根据脚本来绘制图形？

  • 不是写代码而是写数据绘制轨迹
  • 数据脚本是自动化最重要的第一步

  

"自动轨迹绘制"实例讲解

基本思路

步骤1：定义数据文件格式（接口）
步骤2：编写程序，根据文件接口解析参数绘制图形
步骤3：编制数据文件

• 数据接口定义

• 编写程序

#AutoTraceDraw.py
import turtle as t
t.title('自动轨迹绘制')
t.setup(800, 600, 0, 0)
t.pencolor("red")
t.pensize(5)
#数据读取
datals = []
f = open("data.txt")
for line in f:
    line = line.replace("\n","")
    datals.append(list(map(eval, line.split(","))))
f.close()
#自动绘制
for i in range(len(datals)):
    t.pencolor(datals[i][3],datals[i][4],datals[i][5])
    t.fd(datals[i][0])
    if datals[i][1]:
        t.right(datals[i][2])
    else:
        t.left(datals[i][2])

• 数据文件

#data.txt
300,0,144,1,0,0
300,0,144,0,1,0
300,0,144,0,0,1
300,0,144,1,1,0
300,0,108,0,1,1
184,0,72,1,0,1
184,0,72,0,0,0
184,0,72,0,0,0
184,0,72,0,0,0
184,1,72,1,0,1
184,1,72,0,0,0
184,1,72,0,0,0
184,1,72,0,0,0
184,1,72,0,0,0
184,1,720,0,0,0

举一反三

理解方法思维

• 自动化思维：数据和功能分离，数据驱动的自动运行
• 接口化设计：格式化设计接口，清晰明了
• 二维数据应用：应用维度组织数据，二维数据最常用

应用问题的扩展

• 扩展接口设计，增加更多控制接口
• 扩展功能设计，增加弧形等更多功能
• 扩展应用需求，发展自动轨迹绘制到动画绘制

二、一维数据的格式化和处理

• 数据组织的维度
• 一维数据的表示
• 一维数据的存储
• 一维数据的处理

2.1 数据组织的维度

• 维度：一组数据的组织形式

• 一维数据

  由对等关系的有序或无序数据构成，采用线性方式组织

  3.1413, 3.1398, 3.1404, 3.1401, 3.1349, 3.1376
  

  • 对应列表、数组和集合等概念

• 二维数据

  由多个一维数据构成，是一维数据的组合形式

  • 表格是典型的二维数据，其中，表头是二维数据的一部分

  

• 多维数据

  有一位或二维数据在新维度上扩展形成

  

• 高维数据

  仅利用最基本的二元关系展示数据间的复杂结构

  {
  "firstName" : "Tian" ,
  "lastName" : "Song" ,
  "address" : {
      "streetAddr" : "中关村南大街5号" ,
      "city" : "北京市" ,
      "zipcode" : "100081"
  } ,
  "professional" : ["Computer Networking" , "Security"]
  }
  

• 数据的操作周期

存储 <-> 表示 <-> 操作

2.2 一维数据的表示

• 如果数据间有序：使用列表类型

  ls = [3.1398, 3.1349, 3.1376]
  

  • 列表类型可以表达一维有序数据
  • for循环可以遍历数据，进而对每个数据进行处理
• 如果数据间无序：使用集合类型

  st = {3.1398, 3.1349, 3.1376}
  

  • 集合类型可以表达一维无序数据
  • for循环可以遍历数据，进而对每个数据进行处理

2.3 一维数据的存储

• 存储方式一：空格分隔

  中国 美国 日本 德国 法国 英国 意大利
  

  • 使用一个或多个空格分隔进行存储，不换行
  • 缺点：数据中不能存在空格
• 存储方式二：逗号分隔

  中国,美国,日本,德国,法国,英国,意大利
  

  • 使用英文半角逗号分隔数据进行存储，不换行
  • 缺点：数据中不能有英文逗号
• 存储方式三：其他方式

  中国$美国$日本$德国$法国$英国$意大利
  

  • 使用其他符号或符号组合分隔，建议采用特殊符号
  • 缺点：需要根据数据特点定义，通用性较差

2.4 一维数据的处理

• 数据处理

  存储 <-> 表示

  • 将存储的数据读入程序
  • 将程序表示的数据写入文件

  

• 一维数据的读入处理

  • 从空格分隔的文件中读入数据

  中国 美国 日本 德国 法国 英国 意大利
  
  txt = open(fname).read()
  ls = txt.split()
  f.close()
  >>> ls
  ['中国', '美国', '日本', '德国', '法国', '英国', '意大利']
  

  • 从特殊符号分隔的文件中读入数据

  中国$美国$日本$德国$法国$英国$意大利
  
  txt = open(fname).read()
  ls = txt.split("$")
  f.close()
  
  >>> ls
  ['中国', '美国', '日本', '德国', '法国', '英国', '意大利']
  

• 一维数据的写入处理

  • 采用空格分隔方式将数据写入文件

  ls = ['中国', '美国', '日本']
  f = open(fname, 'w')
  f.write(' '.join(ls))
  f.close()
  

  • 采用特殊分隔方式将数据写入文件

  ls = ['中国', '美国', '日本']
  f = open(fname, 'w')
  f.write('$'.join(ls))
  f.close()
  

三、二维数据的格式化和处理

• 二维数据的表示
• CSV数据存储格式
• 二维数据的存储
• 二维数据的处理

二维数据的表示

使用列表类型

• 列表类型可以表达二维数据
• 使用二维列表
• 使用两层for循环遍历每个元素
• 外层列表中每个元素可以对应一行，也可以对应一列
  [ [3.1398, 3.1349, 3.1376],[3.1413, 3.1404, 3.1401] ]

一二维数据的Python表示

数据维度是数据的组织形式

• 一维数据：列表和集合类型

[3.1398, 3.1349, 3.1376] 数据间有序
{3.1398, 3.1349, 3.1376} 数据间无序

• 二维数据：列表类型

[ [3.1398, 3.1349, 3.1376],[3.1413, 3.1404, 3.1401] ]

CSV数据存储格式

CSV: Comma-Separated Values

• 国际通用的一二维数据存储格式，一般.csv扩展名
• 每行一个一维数据，采用逗号分隔，无空行
• Excel软件可读入输出，一般编辑软件都可以产生
• 如果某个元素缺失，逗号仍要保留
• 二维数据的表头可以作为数据存储，也可以另行存储
• 逗号为英文半角逗号，逗号与数据之间无额外空格

二维数据的存储

按行存？按列存？

• 按行存或者按列存都可以，具体由程序决定
• 一般索引习惯：ls[row][column]，先行后列
• 根据一般习惯，外层列表每个元素是一行，按行存

二维数据的处理

• 二维数据的读入处理

  从CSV格式的文件中读入数据

  fo = open(fname)
  ls = []
  for line in fo:
      line = line.replace("\n","")
      ls.append(line.split(","))
  fo.close()
  

• 二维数据的写入处理

  将数据写入CSV格式的文件

  ls = [[], [], []] #二维列表
  f = open(fname, 'w')
  for item in ls:
      f.write(','.join(item) + '\n')
  f.close()
  

• 二维数据的逐一处理

  采用二层循环

  ls = [[], [], []] #二维列表
  for row in ls:
      for column in row:
          print(ls[row][column])