08 Python 文件和数据格式化

文件的使用

文件的类型

文件的理解

文件是数据的抽象和集合

• 文件是存储在辅助存储器上的数据序列
• 文件是数据存储的一种形式
• 文件展现形态：文本文件和二进制文件
  文本文件VS.二进制文件
• 文本文件和二进制文件只是文件的展示方式
• 本质上，所有文件都是二进制形式存储
• 形式上，所有文件采用两种方式展示

文本文件

• 由单一特定编码组成的文件，如UTF-8编码
• 由于存在编码，也被看成是存储着的长字符串
• 适用于例如:.txt、.py文件

二进制文件

• 直接由比特0和1组成，没有统一字符编码
• 一般存在二进制0和1的组织结构，即文件格式
• 适用于例如：.png、.avi文件

f.txt文件保存：“中国是个伟大的国家！”

#以文本形式打开文件
tf = open("f.txt","rt",encoding = 'utf-8')
print(tf.readline())
tf.close()
>>>
中国是个伟大的国家！

#二进制形式打开文件
bf = open("f.txt","rb")
print(bf.readline())
bf.close()
>>>
b'\xe4\xb8\xad\xe5\x9b\xbd\xe6\x98\xaf\xe4\xb8\xaa\xe4\xbc\x9f\xe5\xa4\xa7\xe7\x9a\x84\xe5\x9b\xbd\xe5\xae\xb6\xef\xbc\x81'

文件的打开和关闭

文件操作步骤：打开-操作-关闭

文件的打开

<变量名> = open(<文件名>,<打开模式>)
# 文件名：文件路径和名称 源文件同目录可省路径
# 打开模式：文本或者二进制 读或写
#变量： 文件句柄

D:\PYE\f.txt -->
                "D:/PYE/f.txt"          "./PYE/f.txt"
                "D:\\PYE\\f.txt"        "f.txt"

打开模式

文件的打开模式	描述
‘r’	只读模式，默认值，如果文件不存在，返回FileNotFoundError
‘w’	覆盖写模式，文件不存在创建，存在则完全覆盖
‘x’	创建写模式，文件不存在创建，存在则返回FileExistsError
‘a’	追加写模式，文件不存在创建，存在则在文件最后追加内容
‘b’	二进制文件模式
‘t’	文本文件模式，默认值
‘+’	与r/w/a一同使用，在原功能基础上增加同时读写功能

f = open("f.txt")           # 文本形式，只读模式、默认值
f = open("f.txt","rt")      # 文本形式，只读模式，同默认值
f = open("f.txt","w")       # 文本形式、覆盖写模式
f = open("f.txt","a+")      # 文本形式、追加写模式+读文件
f = open("f.txt","x")       # 文本形式、创建写模式
f = open("f.txt","b")       # 二进制形式、只读模式
f = open("f.txt","wb")      # 二进制形式、覆盖写模式

文件的关闭

<变量名> .close()
变量名：文件句柄

文件内容的读取

操作方法	描述
.read(size = -1)	读入全部内容，如果给出参数，读入前size长度 >>>s = f.read(2) 中国
.readline(size = -1)	读入一行内容，如果给出参数，读入该行前size长度 >>>s = f.readline() 中国是一个伟大的国家！
.readlines(hint = -1)	读入文件所有行，以每行为元素形成列表 如果给出参数，读入前hint行 >>>s = f.readlines() [‘中国是一个伟大的国家！’]

文本的全文操作

遍历全文本：方法一

fname = input("请输入要打开的文件名称：")
fo = open(fname,"r")
txt = fo.read()         #一次读入，全部处理
#对全文txt进行处理
fo.close()

遍历全文本：方法二

fname = input("请输入要打开的文件名称：")
fo = open(fname,"r")
txt = fo.read(2)   
while txt != "":
    #对txt进行处理
    txt = fo.read(2)
fo.close()                  #按数量读入，逐步处理

文件的逐行操作

逐行遍历文件：方法一

fname = input("请输入要打开的文件名称：")
fo = open(fname,"r")            
for line in fo.readlines():
    print(line)
fo.close()              #一次读入，分行处理

逐行遍历文件：方法二

fname = input("请输入要打开的文件名称：")
fo = open(fname,"r")            
for line in fo:
    print(line)
fo.close()              #分行读入，逐行处理

数据的文件写入

操作方法	描述
.write(s)	向文件写入一个字符串或者字节流 >>>f.write(“中国是一个伟大的国家！”)
.writelines(lines)	将一个元素全为字符串的列表写入文件 >>>ls = [“中国”,“法国”,“美国”] >>>f.writelines(ls) 中国法国美国
.seek(offset)	改变当前文件操作指针的位置，offset含义如下： 0-文件开头;1-当前位置；2-文件结尾 >>>f.seek(0) #回到文件开头

fo = open("output.txt","w+")
ls = ["中国","法国","美国"]
fo.writelines(ls)           #写入一个字符串列表
fo.seek(0)                  #让文件回到开头
for line in fo:         
    print(line)
fo.close()
>>>
中国法国美国

自动轨迹绘制

基本思路

1. 定义数据文件格式（接口）
2. 编写程序，根据文件接口解析参数绘制图形
3. 编制数据文件

300，1，144，0，1，0
行进距离；转向判断0:左转，1：右转；转向角度；RGB三个通道颜色 0~1浮点数

#AutoTraceDraw.py
import turtle as t
t.title("自动轨迹绘制")
t.setup(800,600,0,0)
t.pencolor("red")
t.pensize(5)

#数据读取
datals = []
f = open("data.txt",encoding = 'utf-8')
for line in f:
    line = line.replace("\n","")
    datals.append(list(map(eval,line.split(","))))   # map(a,b),将函数a作用b每一个数据
f.close()

#自动绘制
for i in range(len(datals)):
    t.pencolor(datals[i][3],datals[i][4],datals[i][5])
    t.fd(datals[i][0])
    if datals[i][1]:
        t.right(datals[i][2])
    else:
        t.left(datals[i][2])

举一反三

理解方法思维

• 自动化思维：数据和功能分离，数据驱动的自动运行
• 接口划设计：格式化设计接口，清晰明了
• 二维数据应用：应用维度组织数据，二维数据最常用
  应用问题扩展
• 扩展接口设计，增加更多控制接口
• 扩展功能设计，增加弧形等更多功能
• 扩展应用需求，发展自动轨迹绘制到动画绘制

一维数据格式化和处理

数据组织的维度

维度：一组数据的组织形式

一维数据

由对等关系的有序或无序数据构成，采用线性方式组织
3.1413，3.1398，3.1345，3.1456
对应列表、数组和集合等概念

二维数据

由多个一维数据构成，是一维数据的组合形式

多维数据

由一维或二维数据在新维度上扩展形成

高维数据

仅利用最基本的二元关系展示数据间的复杂结构

键值对
{
    "firstName":"Daohong",
    "lastName":"Niu",
    "address":{
            "streetAddr":"建设东路46号",
            "city":"新乡市",
            "zipcode":"453007"
    },
    "professional":["Artifical Intellegence","Electric Engineering"]
}

数据的操作周期

存储<->表示<->操作

一维数据的表示

如果数据间有序：使用列表类型
ls = [3.1398, 3.1349, 3.1376]

• 列表类型可以表达一维有序数据
• for循环可以遍历数据，进而对每个数据进行处理

如果数据间无序：使用集合类型
st = {3.1398, 3.1349, 3.1376}

• 集合类型可以表达一维无序数据
• for循环可以遍历数据，进而对每个数据进行处理

一维数据的存储

存储方式一：空格分隔
中国 美国 日本 法国 德国

• 使用一个或多个空格分隔进行存储，不换行
• 缺点：数据中不能存在空格

存储方式二：逗号分隔
中国,美国,日本,法国,德国

• 使用英文半角逗号分隔数据进行存储，不换行
• 缺点：数据中不能由英文逗号

存储方式三：其他方式
中国$美国$日本$法国$德国

• 使用其他符号或符号组合分隔，建议采用特殊符号
• 缺点：需要根据数据特点定义，通用性差

一维数据的处理

一维数据的读入处理

从空格分隔的文件中读入数据
中国 美国 日本 法国 德国

txt = open(fname).read()
ls = txt.split()
f.close
>>>ls 
['中国','美国','日本','法国','德国' ]

从特殊符号分隔的文件中读入数据
中国$美国$日本$法国$德国

txt = open(fname).read()
ls = txt.split("$")
f.close
>>>ls 
['中国','美国','日本','法国','德国' ]

一维数据的写入处理

采用空格分隔方式将数据写入文件

ls = ['中国','美国','日本']
f = open(fname,'w')
f.write(''.join(ls))
f.close()

采用特殊分隔方式将数据写入文件

ls = ['中国','美国','日本']
f = open(fname,'w')
f.write('$'.join(ls))
f.close()

二维数据的格式化和处理

二维数据的表示

使用列表类型

• 列表类型可以表达二维数据
• 使用二维列表
  [[3.1398, 3.1349, 3.1376], [3.1413, 3.1449, 3.1476]]
• 使用两层for循环遍历每个元素
• 外层列表中每个元素可以对应y一行，也可以对应一列

一二维数据的Python表示

数据维度是数据的组织形式

• 一维数据：列表和集合类型
  [3.1398, 3.1349, 3.1376]数据间有序
  {3.1398, 3.1349, 3.1376}数据间无序
• 二维数据：列表类型：
  [[3.1398, 3.1349, 3.1376], [3.1413, 3.1449, 3.1476]]

CSV格式与二维数据存储

CSV:Comma-Separated Values

• 国际通用的一二维数据存储格式，一般.csv扩展名
• 每行是一个一维数据，采用逗号分隔，无空行
• Excel和一般编辑软件都可以读入或另存为csv文件

CSV数据存储格式

城市	环比	同比	定基
北京	101.5	120.7	121.4
上海	101.2	127.3	127.8
广州	101.3	119.4	120.0
深圳	102.0	140.0	145.5
沈阳	100.0	101.4	101.6

城市,环比,同比,定基
北京,101.5,120.7,121.4
上海,101.2,127.3,127.8
广州,101.3,119.4,120.0
深圳,102.0,140.0,145.5
沈阳,100.0,101.4,101.6

• 如果某个元素缺失，逗号仍要保留
• 二维数据的表头可以作为数据存储，也可以另行存储
• 逗号为英文半角逗号，逗号与数据之间无额外空格

二维数据的存储

• 按行存或者按列存都可以，具体由程序决定
• 一般索引习惯：ls[row][column]，先行后列
• 根据一般习惯，外层列表每个元素是一行，按行存

二维数据的处理

二维数据的读入处理

从CSV格式的文件中读入数据

fo = open(fname)
ls =[]
for line in fo:
    line = line.replace("\n",",")
    ls.append(line.split(","))
fo.close()

二维数据的写入处理

将数据写入CSV格式的文件

ls = [[],[],[]] #二维列表
f = open(fname,'w')
for item in ls:
    f.write(','.join(item)+'\n')
f.close()

二维数据的逐一处理

采用二层循环

ls = [[1,2],[3,4],[5,6]]    #二维列表
for row in ls:
    for column in row:
        print(column)

wordcloud库的使用

wordcloud库把词云当作一个WordCloud对象

• wordcloud.WordCloud()代表一个文本对应词云
• 可以根据文本中词语出现的频率等参数绘制词云
• 词云的形状、尺寸、字体和颜色可以设定

wordcloud库常规方法

w = wordcloud.WordCloud()

• 以WordCloud对象为基础
• 配置参数、加载文本、输出文件

方法	描述
w.generate(txt)	向WordCloud对象w中加载文本txt >>>w.generate(“Python and WordCloud”)
w.to_file(filename)	将词云输出为图像文件，.png或.jpg格式 >>> w.to_file(“outfile.png”)

• 步骤1：配置对象参数
• 步骤2：加载词云文本
• 步骤3：输出词云文件

import wordcloud
c = wordcloud.WordCloud()
c.generate("wordcloud by Python")
c.to_file("pywordcloud.png")

1. 分隔：以空格分隔单词
2. 统计：单词出现次数并过滤
3. 字体：根据统计配置字号
4. 布局：颜色环境尺寸

配置对象参数

w = wordcloud.WordCloud(<参数>)

参数	描述
width	指定词云对象生成图片的宽度，默认400像素 >>>w=wordcloud.WordCloud(width=400)
height	指定词云对象生成图片的高度，默认200像素 >>>w=wordcloud.WordCloud(height=400)
min_font_size	指定词云中字体的最小字号，默认4号 >>>w=wordcloud.WordCloud(min_font_size=10)
max_font_size	指定词云中字体的最大字号，根据高度自动调节 >>>w=wordcloud.WordCloud(max_font_size=20)
font_step	指定词云中字体的步进间隔，默认为1 >>>w=wordcloud.WordCloud(font_step=2)
font_path	指定字体文件的路径，默认None >>>w=wordcloud.WordCloud(font_path=“msyh.ttc”)#微软雅黑
max_words	指定词云显示的最大单词数量，默认200 >>>w=wordcloud.WordCloud(max_words=20)
stop_words	指定词云的排除词列表，即不显示的单词列表 >>>w=wordcloud.WordCloud(stop_words={“Python”})
mask	指定词云形状，默认为长方形，需要引用imread()函数 >>>from scipy.misc import imread >>>mk = imread(“pic.png”)>>>w=wordcloud.WordCloud(mask=mk)
backgroud_color	指定词云图片的背景颜色，默认为黑色 >>>w=wordcloud.WordCloud(backgroud_color=“white”)

###wordcloud应用实例

import wordcloud
txt = "life is short, you need python"
w = wordcloud.WordCloud(background_color = "white")
w.generate(txt)
w.to_file("pycloud.png")

import jieba
import wordcloud
txt = "好好学习，天天向上！"
w = wordcloud.WordCloud(width=1000,font_path="msyh.ttc",height=700,background_color="white")
w.generate(" ".join(jieba.lcut(txt)))
w.to_file("pywcloud.png")

政府工作报告词云实例

基本思路

1. 读取文件、分词整理
2. 设置并输出词云
3. 观察结果，优化迭代

#GovRptWordCloudV1.py
import jieba
import wordcloud
f = open("关于实施乡村振兴战略的意见.txt","r",encoding = 'utf-8')
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path = "msyh.ttc",width = 1000, height = 700,\
                        background_color = "white")
w.generate(txt)
w.to_file("grwordcloud.png")

举一反三

扩展能力

• 了解wordcloud更多参数，扩展词云n能力
• 特色词云：设计一款属于自己的特色词云风格
• 更多文件：用更多文件练习词云生成