辅学内容
前课复习
本课概要
- 6.1集合类型及操作(标红)
- 6.2序列类型及操作(标红)
- 元祖类型
- 列表类型
- 6.3 实例9: 基本统计值计算
- 6.4字典类型及操作(标红)
- 6.5模块5: jieba库的使用
- 6.6实例10: 文本词频统计
方法论- Python三种主流组合数据类型的使用方法
实践能力-学会编写处理一组数据的程序
练习(可选)- 5道编程@Python123
测验- 10道单选+2道编程@Python123
- 6.1集合类型及操作
目录:
- 集合类型定义
- 集合操作符
- 集合处理方法
- 集合类型应用场景
小结:
- 集合使用{}和set()函数创建
- 集合间操作:交(&)、并(|)、差(-)、补(^)、比较(>=<)
- 集合类型方法:.add()、.discard()、.pop()等
- 集合类型主要应用于:包含关系比较、数据去重
6.1.1-集合类型定义
集合是多个元素的无序组合
- 集合类型与数学中的集合概念一致
- 集合元素之间无序,每个元素唯一,不存在相同元素
- 集合元素不可更改,不能是可变数据类型——为什么?
- 集合用大括号{} 表示,元素间用逗号分隔
- 建立集合类型用{} 或set()
- 建立空集合类型,必须使用set()
6.1.2-集合操作符
集合间操作
集合操作符
6个操作符
4个增强操作符
集合类型的定义:
6.1.3-集合处理方法
6.1.4-集合类型应用场景
包含关系比较:
数据去重:集合类型所有元素无重复
- 6.2序列类型及操作
目录:
-序列类型定义
-序列处理函数及方法
-元组类型及操作
-列表类型及操作
-序列类型应用场景
小结:
- 序列是基类类型,扩展类型包括:字符串、元组和列表
- 元组用()和tuple()创建,列表用[]和set()创建
- 元组操作与序列操作基本相同
- 列表操作在序列操作基础上,增加了更多的灵活性
6.2.1 序列类型定义
序列是具有先后关系的一组元素
- 序列是一维元素向量,元素类型可以不同
- 类似数学元素序列:s0, s1, … , sn-1
- 元素间由序号引导,通过下标访问序列的特定元素
序列是一个基类类型
序号的定义:
6.2.2 序列处理函数及方法
序列类型通用操作符
6个操作符
序列类型操作实例
序列类型通用函数和方法
5个函数和方法:
序列类型操作实例
6.2.3 元组类型及操作
元组类型定义元组是序列类型的一种扩展
- 元组是一种序列类型,一旦创建就不能被修改
- 使用小括号() 或tuple() 创建,元素间用逗号, 分隔
- 可以使用或不使用小括号
元组类型操作:
元组继承序列类型的全部通用操作
- 元组继承了序列类型的全部通用操作
- 元组因为创建后不能修改,因此没有特殊操作
- 使用或不使用小括号
6.2.4 列表类型及操作
列表类型定义:
列表是序列类型的一种扩展,十分常用
- 列表是一种序列类型,创建后可以随意被修改
- 使用方括号[] 或list() 创建,元素间用逗号, 分隔
- 列表中各元素类型可以不同,无长度限制
列表类型操作函数和方法
列表类型操作:
列表类型操作函数和方法:
列表类型操作:
列表功能默写:
6.2.5 序列类型应用场景
数据表示:元组和列表
- 元组用于元素不改变的应用场景,更多用于固定搭配场景
- 列表更加灵活,它是最常用的序列类型
- 最主要作用:表示一组有序数据,进而操作它们
元素遍历
数据保护
- 如果不希望数据被程序所改变,转换成元组类型
- 6.3 实例9: 基本统计值计算
6.3.1 问题分析
基本统计值
- 需求:给出一组数,对它们有个概要理解
- 该怎么做呢?
总个数、求和、平均值、方差、中位数…
基本统计值
- 总个数:len()
- 求和:for … in
- 平均值:求和/总个数
- 方差:各数据与平均数差的平方和的平均数
- 中位数:排序,然后… 奇数找中间1个,偶数找中间2个取平均
6.3.2 实例讲解
基本统计值计算
- 获取多数据输入
- 通过函数分隔功能
#CalStatisticsV1.py
def getNum(): #获取用户不定长度的输入
nums = []
iNumStr = input("请输入数字(回车退出): ")
while iNumStr != "":
nums.append(eval(iNumStr))
iNumStr = input("请输入数字(回车退出): ")
return nums
def mean(numbers): #计算平均值
s = 0.0
for num in numbers:
s = s + num
return s / len(numbers)
def dev(numbers, mean): #计算方差
sdev = 0.0
for num in numbers:
sdev = sdev + (num - mean)**2
return pow(sdev / (len(numbers)-1), 0.5)
def median(numbers): #计算中位数
sorted(numbers)
size = len(numbers)
if size % 2 == 0:
med = (numbers[size//2-1] + numbers[size//2])/2
else:
med = numbers[size//2]
return med
n = getNum() #主体函数
m = mean(n)
print("平均值:{},方差:{:.2},中位数:{}.".format(m, dev(n,m),median(n)))
6.3.3 举一反三
技术能力扩展
- 获取多个数据:从控制台获取多个不确定数据的方法
- 分隔多个函数:模块化设计方法
- 充分利用函数:充分利用Python提供的内置函数
- 6.4字典类型及操作
目录:
- 字典类型定义
- 字典处理函数及方法
- 字典类型应用场景
小结:
- 映射关系采用键值对表达
- 字典类型使用{}和dict()创建,键值对之间用:分隔
- d[key] 方式既可以索引,也可以赋值
- 字典类型有一批操作方法和函数,最重要的是.get()
6.4.1-字典类型定义
理解“映射”
- 映射是一种键(索引)和值(数据)的对应
字典类型是“映射”的体现
- 键值对:键是数据索引的扩展
- 字典是键值对的集合,键值对之间无序
- 采用大括号{}和dict()创建,键值对用冒号: 表示
{<键1>:<值1>, <键2>:<值2>, … , <键n>:<值n>}
字典类型的用法
在字典变量中,通过键获得值
<字典变量> = {<键1>:<值1> , … , <键n>:<值n>}
<值> = <字典变量>[<键>]
<字典变量>[<键>] = <值>
[ ] 用来向字典变量中索引或增加元素
字典类型定义和使用
6.4.2-字典处理函数及方法
字典类型操作函数和方法
字典类型操作
字典类型操作函数和方法
字典类型操作
字典功能默写
6.4.3-字典类型应用场景
映射的表达
-映射无处不在,键值对无处不在
-例如:统计数据出现的次数,数据是键,次数是值
-最主要作用:表达键值对数据,进而操作它们
元素遍历
for k in d :
<语句块>
- 6.5模块5: jieba库的使用
6.5.1 jieba库基本介绍
jieba库概述
jieba是优秀的中文分词第三方库
-中文文本需要通过分词获得单个的词语
-jieba是优秀的中文分词第三方库,需要额外安装
-jieba库提供三种分词模式,最简单只需掌握一个函数
jieba库的安装
(cmd命令行) pip install jieba
jieba分词的原理
jieba分词依靠中文词库
- 利用一个中文词库,确定中文字符之间的关联概率
- 中文字符间概率大的组成词组,形成分词结果
- 除了分词,用户还可以添加自定义的词组
6.5.2 jieba库使用说明
jieba分词的三种模式
精确模式、全模式、搜索引擎模式
- 精确模式:把文本精确的切分开,不存在冗余单词
- 全模式:把文本中所有可能的词语都扫描出来,有冗余
- 搜索引擎模式:在精确模式基础上,对长词再次切分
jieba库常用函数:
jieba分词要点:
jieba.lcut(s)
- 6.6实例10: 文本词频统计
6.6.1 "文本词频统计"问题分析
文本词频统计
-
需求 :一篇文章,出现了哪些词?哪些词出现得最多?
-
该怎么做呢?
英文文本➡️中文文本 -
英文文本:Hamet分析词频https://python123.io/resources/pye/hamlet.txt
-
中文文本:《三国演义》分析人物https://python123.io/resources/pye/threekingdoms.txt
6.6.2 "Hamlet英文词频统计"实例讲解
- 文本去噪及归一化
- 使用字典表达词频
#CalHamletV1.py
def getText():
txt = open("hamlet.txt", "r").read()
txt = txt.lower()
for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
txt = txt.replace(ch, " ") #将文本中特殊字符替换为空格
return txt
hamletTxt = getText()
words = hamletTxt.split()
counts = {}
for word in words:
counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
for i in range(10):
word, count = items[i]
print ("{0:<10}{1:>5}".format(word, count))
6.6.3 "《三国演义》人物出场统计"实例讲解(上)
- 中文文本分词
- 使用字典表达词频
#CalThreeKingdomsV1.py
import jieba
txt = open("threekingdoms.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)
counts = {}
for word in words:
if len(word) == 1:
continue
else:
counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
for i in range(15):
word, count = items[i]
print ("{0:<10}{1:>5}".format(word, count))
6.6.3 "《三国演义》人物出场统计"实例讲解(上)
《三国演义》人物出场统计
将词频与人物相关联,面向问题
词频统计➡️人物统计
- 中文文本分词
- 使用字典表达词频
- 扩展程序解决问题
#CalThreeKingdomsV2.py
import jieba
excludes = {"将军","却说","荆州","二人","不可","不能","如此"}
txt = open("threekingdoms.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)
counts = {}
for word in words:
if len(word) == 1:
continue
elif word == "诸葛亮" or word == "孔明曰":
rword = "孔明"
elif word == "关公" or word == "云长":
rword = "关羽"
elif word == "玄德" or word == "玄德曰":
rword = "刘备"
elif word == "孟德" or word == "丞相":
rword = "曹操"
else:
rword = word
counts[rword] = counts.get(rword,0) + 1
for word in excludes:
del counts[word]
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
for i in range(10):
word, count = items[i]
print ("{0:<10}{1:>5}".format(word, count))
6.6.4 "文本词频统计"举一反三
应用问题的扩展
- 《红楼梦》、《西游记》、《水浒传》…
- 政府工作报告、科研论文、新闻报道…
- 进一步呢?未来还有词云…