全国计算机等级考试二级Python（2021年9月）备考笔记 第七天

Python语言程序设计-嵩天老师(MOOC)听课笔记 第7周

知识点一

文件的理解

• 文件是数据的抽象和集合

• 文件是存储在辅助存储器上的数据序列
• 文件是数据存储的一种形式
• 文件展现形态：文本文件和二进制

• 文本文件 vs 二进制文件

• 文本文件和二进制文件只是文件的展示方式
• 本质上，所有文件都是二进制形式存储
• 形式上，所有文件采用两种方式展示

文本文件

• 文件是数据的抽象和集合

• 由单一特定编码组成的文件，如UTF-8编码
• 由于存在编码，也被看成是存储着的长字符串
• 适用于例如：.txt文件、.py文件

二进制文件

• 文件是数据的抽象和集合

• 直接由比特0和1组成，没有统一字符编码
• 一般存在二进制0和1的组织结构，即文件格式
• 适用于例如：.png文件、.avi文件

文本文件 vs 二进制文件

示例:"中国是个伟大的国家！"
- 文本形式
中国是个伟大的国家！
- 二进制形式
b'\xd6\xd0\xb9\xfa\xca\xc7\xb8\xf6\xce\xb0\xb4\xf3\xb5\xc4\xb9\xfa\xbc\xd2\xa3\xa1'

• f.txt文件保存：“中国是个伟大的国家”

#文本形式打开文件
tf=open("f.txt","rt")
print(tf.readline())
tf.close()
#输出结果:
>>>
中国是个伟大的国家！

#二进制形式打开文件
bf=open("f.txt","rb")
print(bf.readline())
bf.close()
#输出结果:
>>>
b'\xd6\xd0\xb9\xfa\xca\xc7\xb8\xf6\xce\xb0\xb4\xf3\xb5\xc4\xb9\xfa\xbc\xd2\xa3\xa1'

文件的打开关闭

• 文件处理的步骤：打开-操作-关闭
  

文件的打开

<变量名>=open(<文件名>，<打开模式>)
变量名：文件句柄
文件名：文件路径和名称，源文件同目录可省路径
打开模式：文本 or 二进制；读 or 写

D:\PYE\f.txt
文件路径和名称(绝对路径):  "D:/PYE/f.txt" 或  "D:\\PYE\\f.txt"
源文件同目录可省路径(相对路径):  "./PYE/f.txt"  或  "f.txt"

打开模式

f=open("f.txt")    #文本形式、只读模式、默认值
f=open("f.txt","rt")    #文本形式、只读模式、同默认值
f=open("f.txt","w")    #文本形式、覆盖写模式
f=open("f.txt","a+")    #文本形式、追加写模式+读文件
f=open("f.txt","x")    #文本形式、创建写模式
f=open("f.txt","b")    #二进制形式、只读模式
f=open("f.txt","wb")    #二进制形式、覆盖写模式

文件关闭

<变量名>.close
变量名：文件句柄

#文本形式打开文件
tf=open("f.txt","rt")
print(tf.readline())
tf.close()

#二进制形式打开文件
bf=open("f.txt","rb")
print(bf.readline())
bf.close()

文件内容的读取

操作方法	描述
< f >.read(size=-1)	读入全部内容，如果给出参数，读入前size长度>>>s=f.read(2) 输出结果：中国
< f >.readline(size=-1)	读入一行内容，如果给出参数，读入该行前size长度>>>s=f.readline() 输出结果：中国是一个伟大的国家！
< f >.readlines(hint=-1)	读入文件所有行，以每行元素形成列表如果给出参数，读入前hint行>>>s=f.readlines()输出结果：[‘中国是一个伟大的国家！’]

文件的全文本操作

• 遍历全文本：方法一

fname=input("请输入要打开的文件名称:")
fo=open(fname,"r")
txt=fo.read()
#对全文txt进行处理
fo.close()

• 便利全文本：方法二

fname=input("请输入要打开的文件名称:")
fo=open(fname,"r")
txt=fo.read(2)
while txt !="":
	#对txt进行处理
	txt=fo.read(2)
fo.close()

文件的逐行操作

• 逐行遍历文件：方法一

fname=input("请输入要打开的文件名称:")
fo=open(fname,"r")
for line in fo.readlines():    #一次读入,分行处理
	print(line)
fo.close()

• 逐行遍历文件：方法二

fname=input("请输入要打开的文件名称:")
fo=open(fname,"r")
for line in fo:
	print(line)
fo.close()

数据的文件写入

fo=open("output.txt","w+")
ls=["中国","法国","美国"]
fo.writelines(ls)    #写入一个字符串列表
for line in fo:
	print(line)
fo.close()    #>>>(没有任何输出)

fo=open("output.txt","w+")
ls=["中国","法国","美国"]
fo.writelines(ls)    #写入一个字符串列表
fo.seeek(0)
for line in fo:    #写入一个字符串列表
	print(line)
fo.close()    #>>>中国法国美国

实例 自动轨迹绘制

问题分析

• 自动轨迹绘制

• 需求：根据脚本来绘制图形
• 不是写代码而是写数据绘制轨迹
• 数据脚本是自动化最重要的第一步

• 基本思路

• 步骤1：定义数据文件格式(接口)
• 步骤2：编写程序，根据文件接口解析参数绘制图形
• 步骤3：编制数据文件

数据接口定义

• 非常具有个性色彩
  

自动轨迹绘制

import turtle as t
t.title("自动轨迹绘制")
t.setup(800,600,0,0)
t.pencolor("red")
t.pensize(5)
#数据读取
datals=[]
f=open("data.txt")
for line in f:
	line=line.replace("\n","")
    datals.append(list(map(eval,line.split(","))))
f.close()
#自动绘制
for i in range(len(datals)):
	t.pencolor(datals[i][3],datals[i][4],datals[i][5])
	t.fd(datals[i][0])
	if datals[i][1]:
		t.right(datals[i][2])
	else:
		t.left(datals[i][2])

数据文件

举一反三

• 理解方法思维

• 自动化思维：数据和功能分离，数据驱动的自动运行
• 接口化设计：格式化设计接口，清晰明了
• 二维数据应用：应用维度组织数据，二维数据最常用

• 应用问题的扩展

• 扩展接口设计，增加更多控制接口
• 扩展功能设计，增加弧形等更多功能
• 扩展应用需求，发展自动轨迹绘制到动画绘制

知识点二

一维数据的格式化和处理

• 数据组织的维度
• 一维数据的表示
• 一维数据的存储
• 一维数据的处理

从一个数据到一组数据

维度：一组数据的组织形式

一维数据

• 由对等关系的有序或无序数据构成，采用线性方式组织

3.1413,3.1398,3.1404,3.1401,3.1349,3.1376

• 对应列表、数组和集合等概念

二维数据

• 由多个一维数据构成，是一维数据的组合形式

• 表格是典型的二维数据
• 其中，表头是二维数据的一部分

多维数据

-由一维或二维数据在新维度上扩展形成

高维数据

• 仅利用最基本的二元关系展示数据间的复杂结构
  

数据的操作周期

• 存储 <-> 表示 <-> 操作
  

一维数据的表示

• 如果数据间有序：使用列表类型

ls=[3.1398,3.1349,3.1376]

• 列表类型可以表达一维有序数据
• for循环可以遍历数据，进而对每个数据进行处理

• 如果数据间无序：使用集合类型

st={3.1398,3.1349,3.1376}

• 集合类型可以表达一维无序数据
• for循环可以遍历数据，进而对每个数据进行处理

一维数据的存储

• 存储方式一：空格分隔

中国 美国 日本 德国 法国 英国 意大利

• 使用一个或多个空格分隔进行存储，不换行
• 缺点：数据中不能存在空格

• 存储方式二：逗号分隔

中国,美国,日本,德国,法国,英国,意大利

• 使用英文半角逗号分隔数据进行存储，不换行
• 缺点：数据中不能有英文逗号

• 存储方式三：其他方式

中国$美国$日本$德国$法国$英国$意大利

• 使用其他符号或符号组合分隔，建议采用特殊符号
• 缺点：需要根据数据特点定义，通用性较差

数据的处理

• 存储 <-> 表示
  

一维数据的读入处理

• 从空格分隔的文件中读入数据

中国 美国 日本 德国 法国 英国 意大利

txt=open(fname).read()
ls=txt.split()
f.close()
>>>ls
['中国','美国','日本','德国','法国','英国','意大利']

• 从特殊符号分隔的文件中读入数据

中国$美国$日本$德国$法国$英国$意大利

txt=open(fname).read()
ls=txt.split("$")
f.close()
>>>ls
['中国','美国','日本','德国','法国','英国','意大利']

一维数据的写入处理

• 采用空格分隔方式将数据写入文件

ls=['中国','美国','日本']
f=open(fname,"w")
f.write(' ',join(ls))
f.close()

• 采用特殊分隔方式将数据写入文件

ls=['中国','美国','日本']
f=open(fname,"w")
f.write('$',join(ls))
f.close()

二维数据的表示

• 使用列表类型

[[3.1398,3.1349,3.1376],[3.1413,3.1404,3.1401]]

• 使用两层for循环遍历每个元素
• 外层列表中每个元素可以对应一行，也可以对应一列

一二维数据的Python表示

• 数据维度是数据的组织形式

• 一维数据：列表和集合类型
  [3.1398,3.1349,3.1376] 数据间有序
  {3.1398,3.1349,3.1376} 数据间无序

CSV数据存储格式

• 国际通用的一二维数据存储格式，一般.csv扩展名
• 每行一个一维数据，采用逗号分隔，无空行
• Excel和一般编辑软件都可以读入或另存为csv文件

• 如果某个元素缺失，逗号仍要保留
• 二维数据的表头可以作为数据存储，也可以另行存储

二维数据的存储

• 按行存？按列存？

• 按行存或者按列存都可以，具体由程序决定
• 一般索引习惯：ls[row][column],先行后列
• 根据一般习惯，外层列表每个元素是一行，按行存

二维数据的读入处理

• 从CSV格式的文件中读入数据

fo=open(fname)
ls=[]
for line in fo:
	line=line.replace("\n","")
	ls.append(line.split(","))
fo.close()

二维数据的读入处理

• 将数据写入CSV格式的文件

ls=[[],[],[]]    #二维列表
f=open(fname,'w')
for item in ls:
	f.write(','.join(item)+'\n')
f.close()

二维数据的逐一处理

• 采用二层循环

ls=[[1,2],[3,4],[5,6]]    #二维数据
for row in ls:
	for column in row:
		print(column)

知识点三

wordcloud库概述

• wordcloud是优秀的词云展示第三方库
  

• 词语以词语为基本单位，更加直观和艺术的展示文本

wordcloud库安装

• (cmd命令行) pip install wordcloud
  

wordcloud库基本使用

• wordcloud库把词云当作一个WordCloud对象

• wordcloud.WordCloud()代表一个文本对应的词云
• 可以根据文本中词语出现的频率等参数绘制词云
• 绘制词云的形状、尺寸和颜色都可以设定

wordcloud库常规方法

• w=wordcloud.WordCloud()

• 以WordCloud对象为基础
• 配置参数、加载文本、输出文件
  
• 步骤1：配置对象参数
• 步骤2：加载词云文件
• 步骤3：输出词云文件

import wordcloud
c=wordcloud.WordCloud()
c.generate("wordcloud by Python")
c.to_file("pywordcloud.png")    #默认高度200像素,宽度400像素

输出结果:

• 分隔：以空格分隔单词
• 统计：单词出现次数并过滤
• 字体：根据统计配置字号
• 布局：颜色环境尺寸

配置对象参数

w=wordcloud.WordCloud(<参数>)

wordcloud应用实例

import wordcloud
txt="life is short,you need python"
w=wordcloud.WordCloud(background_color="white")
w.generate(txt)
w.to_file("pywcloud.png")

输出结果：(以空格分隔的单词])

import jieba
import wordcloud
txt="程序设计语言是计算机能够理解和识别用户操作意图的一种交互体系,它按照特定规则组织计算机指令,使计算机能够自动进行各种运算处理"
w=wordcloud.WordCloud(width=1000,\font_path="msyh.ttc",height=700)
w.generate(" ".join(jieba.lcut(txt)))
w.to_file("pywcloud.png")

输出结果：(中文需要先分词并组成空格分隔字符串)

实例 政府工作报告

问题分析

• 直观理解政策文件

• 需求：对于政府工作报告等政策文件，如何直观理解？
• 体会直观的价值：生成词云&优化词云
  政府工作报告等文件 $\to$有效展示的词云

基本思路

• 步骤1：读取文件、分词整理
• 步骤2：设置并输出词云
• 步骤3：观察结果，优化迭代

政府工作报告词云

代码如下:
import jieba
import wordcloud
f=open("新时代中国特色社会主义.txt","r",encoding="utf-8")
t=f.read()
f.close()
ls=jieba.lcut(t)
txt=" ".join(ls)
w=wordcloud.WordCloud(font_path="msyh.ttc",width=1000,height=700,background_color="white")
w.generate(txt)
w.to_file("grwordcloud.png")

• 更有形的词云
  

import jieba
import wordcloud
from scipy.misc import imread
mask =imread("fivestart.png")
f=open("新时代中国特色社会主义.txt","r",encoding="utf-8")
t=f.read()
f.close()
ls=jieba.lcut(t)
txt=" ".join(ls)
w=wordcloud.WordCloud(font_path="msyh.ttc",width=1000,height=700,background_color="white")
w.generate(txt)
w.to_file("grwordcloud.png")

举一反三

• 扩展能力

• 了解wordcloud更多参数，扩展词云能力
• 特色词云：设计一款属于自己的特色词云风格
• 更多文件：用更多文件练习词云生成

课后练习题

实例一 文件行数

题目要求：打印输出附件文件的有效行数，注意：空行不计算为有效行数
输出示例：共100行

代码如下:
f = open("latex.log")
s = 0
for line in f:
    line = line.strip('\n')
    if len(line) == 0:
        continue
    s += 1
print("共{}行".format(s))

实例二 文件字符分布

题目要求：统计附件文件的小写字母a-z的字符分布，即出现a-z字符的数量，并输出结果。‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬
同时请输出文件一共包含的字符数量。‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬
注意输出格式，各元素之间用英文逗号（,）分隔。‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬答案可能包含a-z共26个字符的分布，如果某个字符没有出现，则不显示，输出顺序a-z顺序。‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬
输出示例：共 999 字符,a: 11 ,b: 22 ,c: 33 ,d: 44 ,e: 55

代码如下:
f = open("latex.log")
cc = 0
d = {}
for i in range(26):
    d[chr(ord('a')+i)] = 0
for line in f:
    for c in line:
        d[c] = d.get(c, 0) + 1
        cc += 1
print("共{}字符".format(cc), end="")
for i in range(26):
    if d[chr(ord('a')+i)] != 0:
        print(",{}:{}".format(chr(ord('a')+i), d[chr(ord('a')+i)]), end="")

实例三 文件独特行数

题目要求：统计附件文件中与其他行都不同的行的数量，即独特行的数量。
输出示例：共 99 独特行

代码如下:
f = open("latex.log")
ls = f.readlines()
s = set(ls)
for i in s:
    ls.remove(i)
t = set(ls)
print("共{}独特行".format(len(s)-len(t)))

实例四 CSV格式列变换

题目描述：附件是一个CSV文件，请将每行按照列逆序排列后输出，不改变各元素格式（如周围空格布局等）。
输入示例：
（以下是文件内容）
1,2,3,4
a,b,c,d
输出示例：
4,3,2,1
d,c,b,a

代码如下:
f = open("data.csv")
for line in f:
    line = line.strip("\n")
    ls = line.split(",")
    ls = ls[::-1]
    print(",".join(ls))
f.close()

实例五 CSV格式数据清洗

题目描述：附件是一个CSV文件，其中每个数据前后存在空格，请对其进行清洗，要求如下：‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬
（1）去掉每个数据前后空格，即数据之间仅用逗号(,)分割；‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬
（2）清洗后打印输出。
输入示例：(在文件中)
1, 2,3, 4, 5
'a', 'b' , 'c' , 'd','e'
输出示例：
1,2,3,4,5
'a','b','c','d','e'

代码如下:
f = open("data.csv")
s = f.read()
s = s.replace(" ","")
print(s)
f.close()

第七周测验题目

单项选择题

第一题

第三题

第四题

第七题

第十题

程序设计题

第一题 文本的平均列数

题目描述：打印输出附件文件的平均列数，计算方法如下：
(1) 有效行指包含至少一个字符的行，不计算空行；
(2) 每行的列数为其有效字符数；
(3) 平均列数为有效行的列数平均值，采用四舍五入方式取整数进位。
输入示例：无
输出示例：123

代码如下:
f = open("latex.log")
s, c = 0, 0
for line in f:
    line = line.strip("\n")
    if line == "":
        continue
    s += len(line)
    c += 1
print(round(s/c))

第二题 CSV格式清洗与转换

题目描述：附件是一个CSV格式文件，提取数据进行如下格式转换：
(1) 按行进行倒序排列；
(2) 每行数据倒序排列；
(3) 使用分号 (😉 代替逗号 (,) 分割数据，无空格；
按照上述要求转换后将数据输出。
输入示例：(以下内容在文件中)
1，2，3
4，5，6
7，8，9
输出示例：
9；8；7
6；5；4
3；2；1

代码如下:
f = open("data.csv")
ls = f.readlines()
ls = ls[::-1]
lt = []
for item in ls:
    item = item.strip("\n")
    item = item.replace(" ", "")
    lt = item.split(",")
    lt = lt[::-1]
    print(";".join(lt))
f.close()