Python语言程序设计——第六周 组合数据类型

大纲

• 集合类型及操作
• 序列类型及操作——元组类型、列表类型
• 实例9，基本统计值计算
• 字典类型及操作
• 模块5：jieba库的使用
• 实例10：文本词频统计
  

集合类型及操作

• 集合类型定义
• 集合操作符
• 集合处理方法
• 集合类型应用场景

集合类型定义

集合是多个元素的无需组合

• 集合类型与数学中的集合概念一致
• 集合元素之间无序，每个元素唯一，不存在相同元素
• 集合元素不可更改，不能是可变数据类型
• 集合用{}表示，元素之间用逗号分隔
• 建立集合类型用{}或set()
• 建立空集合类型，必须使用set()

集合操作符

4个增强操作符

操作符及应用	描述
S|=T	更新集合S，包括在集合S和T中的所有元素
S -=T	更新集合S，包括在集合S但不在T中的元素
S&=T	更新集合S，包括同时在集合S和T中的元素
S ^=T	更新集合S，包括集合S和T中的非相同元素

>>> A={"p","y",123}
>>> B=set("pypy123")
>>> A-B
{123}
>>> B-A
{'1', '2', '3'}
>>> A&B
{'p', 'y'}
>>> A|B
{'2', 'p', 'y', '1', 123, '3'}
>>> A^B
{'1', '2', 123, '3'}
>>> 

集合处理方法

操作函数或方法	描述
S.add(x)	如果x不在集合S中，将x增加到S
S.discard(x)	移除S中元素x，如果x不在集合S中，不报错
S.remove(x)	移除S中元素x，如果x不在集合S中，产生KeyError异常
S.clear()	移除S中所有元素
S.pop()	随机返回S的一个元素，更新S，若S为空产生KeyError异常
S.copy()	返回集合S的一个副本
len(S)	返回集合S的元素个数
x in S	判断S中元素x，x在集合S中，返回True，否则返回False
x not in S	判断S中元素x，x不在集合S中，返回True，否则返回False
set(x)	将其他类型变量x转变为集合类型

>>> for item in A:
	print(item,end="")

	
p123y
>>> A
{'p', 123, 'y'}
#下面的程序与for in的作用一样
>>> try:
	while True:
		print(A.pop(),end="")
except:
	pass

p123y
>>> A
set()

集合类型应用场景

包含关系比较

>>> A
set()
>>> "p" in {"p","y",123}
True
>>> {"p","y"}>={"p","y",123}
False

数据去重：集合类型所有元素无重复

>>> ls=["p","p","y","y",123]
>>> s=set(ls)  #利用了集合无重复元素的特点
>>> lt=list(s)  #将集合转换为列表
>>> s;lt
{'p', 123, 'y'}
['p', 123, 'y']
>>> 

序列类型及操作

• 序列类型定义
• 序列处理函数及方法
• 元组类型及操作
• 列表类型及操作
• 序列类型应用场景

序列类型及定义

序列是具有先后关系的一组元素

• 序列是一维元素向量，元素类型可以不同
• 类似数学元素序列：$s_0,s_1,...,s_{n-1}$
• 元素间由序号引导，通过下标访问序列的特定元素
  序列是一个基类类型
  
  

序列处理函数及方法

操作符及应用	描述
x in s	如果x是序列s的元素，返回True，否则返回False
x not in s	如果x是序列s的元素，返回False，否则返回True
s+t	连接两个序列s和t
s * n或n* s	将序列s复制n次
s[i]	索引，返回s中的第i个元素，i是序列的序号
s[i:j]或s[i:j:k]	切片，返回序列s中第i到j以为步长的元素子序列

5个函数和方法

元组类型及操作

元组是序列类型的一种扩展

• 元组是一种序列类型，一旦创建就不能被修改
• 使用小括号()或tuple()创建，元素间用逗号，分隔
• 可以使用或不使用小括号

元组继承序列类型的全部通用操作

• 元组继承了序列类型的全部通用操作
• 元组因为创建后不能修改，因此没有特殊操作符
• 使用或不适用小括号

>>> creature="cat","dog","tiger","human"
>>> creature
('cat', 'dog', 'tiger', 'human')
>>> color=(0x001100,"blue",creature)
>>> color
(4352, 'blue', ('cat', 'dog', 'tiger', 'human'))
>>> creature[::-1]
('human', 'tiger', 'dog', 'cat')
>>> color=(0x001100,"blue",creature)
>>> color[-1][2]
'tiger'

列表类型及操作

列表是序列类型的一种扩展，十分常用

• 列表是一种序列类型，创建后可以随意被修改
• 使用方括号[]或list创建，元素间用逗号,分隔
• 列表中各元素类型可以不同，无长度限制

>>> ls=["cat","dog","tiger",1024]
>>> ls
['cat', 'dog', 'tiger', 1024]
>>> lt=ls
>>> lt
['cat', 'dog', 'tiger', 1024]

方括号[]真正创建一个列表，赋值仅传递引用

函数及方法	描述
ls[i]=x	替换列表ls第i元素为x
ls[i:j:k]=lt	用列表lt替换ls切片后所对应元素子列表
del ls[i]	删除列表ls中第i元素
del ls[i:j:k]	删除列表ls中第i到第j以k为步长的元素
ls+=lt	更新列表ls，将列表lt元素增加到列表ls中
ls *=n	更新列表ls，其元素重复n次

>>> ls=["cat","dog","tiger",1024]
>>> ls[1:2]=[1,2,3,4]
>>> ls
['cat', 1, 2, 3, 4, 'tiger', 1024]
>>> del ls[::3]
>>> ls
[1, 2, 4, 'tiger']
>>> ls*2
[1, 2, 4, 'tiger', 1, 2, 4, 'tiger']

函数或方法	描述
ls.append(x)	在列表ls最后增加一个元素x
ls.clear()	删除列表ls中的所有元素
ls.copy()	生成一个新列表，赋值ls中的所有元素
ls.insert(i,x)	在列表ls的第i位置增加元素x
ls.pop(i)	将列表ls中的第i位置元素取出并删除该元素
ls.remove(x)	将列表ls中出现的第一个元素x删除
ls.reverse()	将列表ls中的元素反转

>>> ls=["cat","dog","tiger",1024]
>>> ls.append(1234)
>>> ls
['cat', 'dog', 'tiger', 1024, 1234]
>>> ls.insert(3,"human")
>>> ls
['cat', 'dog', 'tiger', 'human', 1024, 1234]
>>> ls.reverse()
>>> ls
[1234, 1024, 'human', 'tiger', 'dog', 'cat']

序列类型应用场景

• 元组用于元素不改变的应用场景，更多用于固定搭配场景
• 列表更加灵活，它是最常用的序列类型
• 最主要作用：表示一组有序数据，进而操作它们

for item in ls:
     <语句块>

for item in tp:
  <语句块>

数据保护

• 如果不希望数据被程序所改变，转换成元组类型

>>> ls=["cat","dog","tiger",1024]
>>> lt=tuple(ls)
>>> lt
('cat', 'dog', 'tiger', 1024)

基本统计值的分析

基本统计值

• 需求：给出一组数，对他们有个概要理解
• 总个数：len()
• 求和：for …in
• 平均值：求和/总个数
• 方差：各数据与平均数差的平方的和的平均数
• 中位数：排序，然后…奇数找中间1个，偶数找中间两个求平均

#CalStatisticsV1.py
def getNum():  #获取用户不定长度的输入
    nums=[]
    iNumStr=input("请输入数字（回车退出）：")
    while iNumStr !="":
        nums.append(eval(iNumStr))
        iNumStr=input("请输入数字（回车退出）：")
    return nums

def mean(numbers):    #计算均值
    s=0.0
    for num in numbers:
        s=s+num
    return s/len(numbers)

def dev(numbers,mean):  #计算方差
    sdev=0.0
    for num in numbers:
        sdev=sdev+(num-mean)**2
    return pow(sdev/(len(numbers)-1),0.5)

def median(numbers):   #计算中位数
    sorted(numbers)
    size=len(numbers)
    if size %2==0:
        med=(numbers[size//2-1]+numbers[size//2])/2
    else:
        med=numbers[size//2]
    return med

n=getNum()
m=mean(n)
print("平均值:{},方差:{:.2},中位数:{}.".format(m,dev(n,m),median(n)))

• 获取多个数据：从控制台获取多个不确定数据的方法
• 分隔多个函数：模块化设计方法
• 充分利用函数：充分利用Python提供的内容函数

字典类型及操作

字典类型定义

理解映射

• 映射是一种键（索引）和值（数据）的对应
• 字典是键值对的集合，键值对之间无序
• 采用大括号{}和dict()创建，键值对用冒号:表示
  
  
  在字典变量中，通过键获得值
  

>>> d={"中国":"北京","美国":"华盛顿","法国":"巴黎"}
>>> d
{'中国': '北京', '美国': '华盛顿', '法国': '巴黎'}
>>> d["中国"]
'北京'
>>> de={}
>>> type(de)
><class 'dict'>

注1：type(x)返回变量x的类型
注2：{}默认生成字典类型；若想生成空的集合类型，使用set函数完成

字典处理函数及方法

函数或方法	描述
del d[k]	删除字典d中键k对应的数据值
k in d	判断键k是否存在字典中，如果在返回True，否则返回False
d.keys()	返回字典d中所有的键信息
d.values()	返回字典d中所有的值信息
d.items()	返回字典d中所有的键值对信息
d.get(k,<default>)	键k存在，则返回相应值，不在则返回<default>值
d.pop(k,<default>)	键k存在，则取出相应值，不再则返回<default>值
d.popitem()	随机从字典d中取出一个键值对，以元组形式返回
d.clear()	删除所有键值对
len(d)	返回字典d中元素的个数

>>> d={"中国":"北京","美国":"华盛顿","法国":"巴黎"}
>>> "中国" in d
True
>>> d.keys()
dict_keys(['中国', '美国', '法国'])
>>> d.values()
dict_values(['北京', '华盛顿', '巴黎'])
>>> d.items()
dict_items([('中国', '北京'), ('美国', '华盛顿'), ('法国', '巴黎')])
>>> d.get("中国","伊斯兰堡")
'北京'
>>> d.get("巴基斯坦","伊斯兰堡")
'伊斯兰堡'
>>> d.popitem()
('法国', '巴黎')

字典类型应用场景

• 映射无处不在，键值对无处不在
• 例如：统计数据出现的次数，数据是键，次数是值
• 最主要的作用：表达键值对数据，进而操作他们
  元素遍历
  for k in d :
  <语句块>

jieba库基本介绍

• jieba是优秀的中文分词第三方库
• jieba是优秀的中文分词第三方库，需要额外安装
• jieba库提供三种分词模式，最简单只需掌握一个函数

jieba分词依靠中文词库

• 利用一个中文词库，确定汉字之间的关联概率
• 汉字见概率大的组成词组，形成分词结果
• 除了分词，用户还可以添加自定义的词组
  精确模式、全模式、搜索引擎模式
• 精确模式：把文本精确地切分开，不参在冗余单词
• 全模式：把文本中所有可能地词语都扫描出来，有冗余
• 搜索引擎模式：在精确模式地基础上，对长词再次切分

函数	描述
jieba.lcut(s)	精确模式，返回一个列表类型地分词结果 >>> jieba.lcut(“中国是一个伟大地国家”)
jielba.lcut(s,cut_all=True)	全模式，返回一个列表类型地分词结果，存在冗余 >>> jieba.lcut(“中国是一个伟大地国家”,cut_all=True)
jieba.lcut_for_search(s)	搜索引擎模式，返回一个列表类型地分词结果，存在冗余 >>> jieba.lcut_for_search(“中华人民共和国是伟大的”)
jieba.ass_word(w)	向分词词典增加新词w >>>jieba.add_word(“蟒蛇语言”)

实例10：文本词频统计

文本词频统计

• 英文文本：Hamet 分析词频
  https://python123.io/index/problem_set/pe/problems/13656
• 中文文本：《新时代中国特色社会主义》

#CalHamletV1.py
def getText():
    txt =open("Hamlet.txt","r").read()   #打开文件
    txt=txt.lower()   #将单词改写为小写
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_{|}·~‘’':  #去掉所有的特殊字符，仅保留空格
        txt=txt.replace(ch," ")  
    return txt

hamletTxt=getText()
words=hamletTxt.split()  #返回一个列表，由txt根据空格被分割的部分组成
counts={}   #生成一个空字典
for word in words:
    counts[word]=counts.get(word,0)+1  #键word存在，则返回他的次数，否则返回0
items=list(counts.items())  #经字典类型转化为列表类型
items.sort(key=lambda x:x[1],reverse=True)
for i in range(10):
    word,count=items[i]
    print("{0:<10}{1:>5}".format(word,count))

注：第一次the出现的时候，counts.get返回0，后面还加上1，这时x=1。第二次the出现的时候，字典中已经有the了，所以counts.get返回第一次出现时赋的值，也就是1，后面还要+1，所以counts[the]=2

#CalSCCNEv1.py
import jieba
txt=open("新时代中国特色社会主义.txt","r",encoding="utf-8").read()  #写入文本
words=jieba.lcut(txt)  #对txt文本进行分词
counts={}
for word in words:
    if len(word)==1:
        continue
    else:
        counts[word]=counts.get(word,0)+1
items=list(counts.items()) #经字典类型转化为列表类型
items.sort(key=lambda x:x[1],reverse=True)  #从大到小排序
for i in range(15):
    word,count=items[i]
    print("{0:<10}{1:>5}".format(word,count))




#CalSCCNEv1.py
import jieba
txt=open("threekingdoms.txt","r",encoding="utf-8").read()  #写入文本
excludes={"将军","却说","荆州","二人","不可","不能","如此"}
words=jieba.lcut(txt)  #对txt文本进行分词
counts={}
for word in words:
    if len(word)==1:
        continue
    elif word=="诸葛亮" or word=="孔明曰":
        rword="孔明"
    elif word=="关公" or word=="云长":
        rword="关羽"
    elif word=="玄德" or word=="玄德曰":
        reword=="刘备"
    elif word=="孟德" or word=="丞相曰":
        reword="曹操"
    else:
        reword=word
        counts[rword]=counts.get(rword,0)+1
for word in excludes:
    del counts[word]
items=list(counts.items()) #经字典类型转化为列表类型
items.sort(key=lambda x:x[1],reverse=True)  #从大到小排序
for i in range(10):
    word,count=items[i]
    print("{0:<10}{1:>5}".format(word,count))
    
    

举一反三

应用问题的扩展

• 《红楼梦》、《西游记》、《水浒传》···
• 政府工作报告、科研论文、新闻报道···
• 进一步呢？未来还有词云···