python第七章

已于 2022-05-17 11:15:10 修改
阅读量283 收藏
点赞数
分类专栏： python之路 文章标签： python 开发语言 pycharm
于 2022-05-17 10:13:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44954896/article/details/124770640
版权

python系列

python第一章（上）
python第一章（下）
python第二章
python第三章（上）
python第三章（下）
python第四章（上）
python第四章（下）
python第五章
python第六章

中文文本分析

前言

  1. 中文分词
  2. 词云图绘制

中文分词

jieba库

简介

  • 在自然语言处理过程中，为了能更好地处理句子，往往需要把句子拆开分成一个一个的词语，这样能更好的分析句子的特性，这个过程叫就叫做分词。
  • jieba是一个Python实现的中文分词组件，在中文分词界非常出名，支持简、繁体中文，高级用户还可以加入自定义词典以提高分词的准确率。

主要函数

函数描述
jieba.cut(s)精确模式，返回一个可迭代的数据类型
jieba.cut(s,cut_all=True)全模式，输出文本s中所有可能单词
jieba.cut_for_search(s)搜索引擎模式，适合搜索引擎建立索引的分词结果
jieba.lcut(s)精确模式，返回一个列表类型
jieba.lcut(s,cut_all=True)全模式，返回一个列表类型
jieba.lcut_for_search(s)搜索引擎模式，返回一个列表类型
jieba.add_word(w)向分词词典中增加新词w
精确模式分词
  • 试图将句子最精确地切开，适合文本分析。
import jieba
jieba.setLogLevel(jieba.logging.INFO)
s="我爱北京天安门"
for i in jieba.cut(s):#返回的是可迭代类型
    print(i,end='   ')
print()
print(jieba.lcut(s))#返回的是一个列表
  • 运行截图
    在这里插入图片描述
全模式分词
  • 把句子中所有的可以成词的词语都扫描出来。
import jieba
jieba.setLogLevel(jieba.logging.INFO)
s="我爱北京天安门"
for i in jieba.cut(s,cut_all=True):
    print(i,end='   ')
print()
print(jieba.lcut(s,cut_all=True))
  • 运行截图
    在这里插入图片描述
搜索引擎模式分词
  • 在精确模式的基础上，对长词再次切分。
import jieba
jieba.setLogLevel(jieba.logging.INFO)
s="李明硕士毕业于中国科学院计算所"
print(jieba.lcut(s))#精确模式
print(jieba.lcut(s,cut_all=True))#全模式
print(jieba.lcut_for_search(s))#搜索引擎模式
  • 运行截图
    在这里插入图片描述
jieba.add_word()
import jieba
jieba.setLogLevel(jieba.logging.INFO)
test="李元帅是计科系主任也是云计算方面的专家"
word=jieba.cut(test)
print('/'.join(word))
  • 运行截图
    在这里插入图片描述
  • 在使用cut直接分词后，我们发现“李元帅”，“计科系”和“云计算”三个词jieba进行了拆分。如果希望将它们作为新词，可以使用jieba.add_word()临时添加
import jieba
jieba.setLogLevel(jieba.logging.INFO)
test="李元帅是计科系主任也是云计算方面的专家"
word=jieba.cut(test)
jieba.add_word('李元帅')
jieba.add_word('计科系')
jieba.add_word('云计算')
print('/'.join(word))
  • 运行截图
    在这里插入图片描述
  • 如果加入的新词较多，我们可以使用自定义词典来分词。
  • 创建一个文本文件，存入如下内容：
    在这里插入图片描述
import jieba
jieba.setLogLevel(jieba.logging.INFO)
test="李元帅是计科系主任也是云计算方面的专家"
word=jieba.cut(test)
jieba.load_userdict("F:\\code\\编程\\py\\学习代码\\savetext\\abc.txt")
print('/'.join(word))
  • 运行截图
    在这里插入图片描述

词性标注

  • 不同的语言有不同的词性标注集。为了方便指明词的词性，可以给每个词性编码，可以具体参考ICTCLAS汉语词性标注集。
  • 其中，常见的有a：形容词，c：连词，d：副词，m：数词，n：名词，ns：地名，p：介词，r：代词，v：动词等。
import jieba.posseg as psg
text="我和同学一起去北京故宫玩"
seg=psg.cut(text)
for i in seg:
    print(i,end="")
  • 红字忽略
  • 运行截图
    在这里插入图片描述
import jieba.posseg as psg
text="其实走曼谷线+海岛不是只有沙美岛，还有象岛也可以去，就是远了一点，上面的酒店价格很贵，格兰岛就算了，" \
     "全是旅游团~我们是走的曼谷+芭提雅+象岛6天5晚的行程，比其他的行程要累一点，到芭提雅了坐车还要3个多小时，" \
     "但是人少~不喜欢热闹的可以考虑一下这个行程，很安静~"
seg=psg.cut(text)
print(type(seg))#可迭代类型
lst=[x.word for x in seg if x.flag=='ns']#筛选所有地名
print(lst)
  • 筛选所有地名
  • 运行截图
    在这里插入图片描述

关键字提取

from jieba import analyse
text='''很多人不知道的是，金庸开始武侠小说的创作，是一次很偶然的机会。1955年，《大公报》下一个晚报有个武侠小说写得很成功的年轻人，
和金庸是同事，他名叫梁羽生。那年梁羽生的武侠小说即将完结，而他的创作又到了疲惫期，于是，报纸总编辑邀请金庸将武侠小说继续写下去。
虽然此前从未写过小说，但凭借他对武侠小说的了解与喜爱，金庸还是答应接替梁羽生的任务。他把自己名字中的镛字拆开，
做了一个笔名，《书剑恩仇录》正是他的第一部武侠作品，作品一炮而红。此书成功之后，金庸又在短短的几年内创作了《碧血剑》《雪山飞狐》和《射雕英雄传》等作品，
一时间风靡全港。十余年间，他写下15部洋洋大作。'''
keywords=analyse.extract_tags(text,topK=10,withWeight=True)
print("key by tfidf:")
for i in keywords:
    print("{:<5}weight:{:4.2f}".format(i[0],i[1]))
  • 基于TF-IDF算法进行关键词抽取
    topK表示最大抽取个数，默认为20个
    withWeight表示是否返回关键词权重值，默认值为 False
    还有一个参数allowPOS默认为(‘ns’,‘n’,‘vn’,‘v’)即仅提取地名、名词、动名词、动词
  • 运行截图
    在这里插入图片描述

词云图绘制

  • wordcloud库，是Python非常优秀的词云展示第三方库。词云以词语为基本单位，更加直观和艺术的展示文本，是对文本中出现频率较高的“关键词”予以视觉化的展现，词云过滤掉大量的低频低质的文本信息，使得浏览者只要一眼扫过文本就可领略文本的主旨。
  • wordcloud于jieba库安装一样

使用方法

  1. 首先从wordcloud库引入WordCloud类：

from wordcloud import WordCloud

  1. 构造一个WordCould对象

wc = WordCloud(width = 1000, height =800,background_color=‘white’)

  1. 利用该对象的generate()生成词云图

wc.generate(字符串) #参数必须是用空格分隔的字符串 ‘AA BB AA CC’

  1. 利用该对象的to_file()将词云图保存为图片文件(png, jpg等)

wc.to_file(‘tu.png’)

from wordcloud import WordCloud
s = 'With the improving of semiconductor technology, a single chip integrates more and more processing cores. ' \
    'Highly parallel applications are distributed to tens of processing units. ' \
    'The inter-processor communication delay becomes more and more important for parallel applications.'
wc = WordCloud(background_color='white', width=1000, height=800)
wc.generate(s)
wc.to_file('wc.png')     # 生成的图片默认保存在程序所在的目录
# 也可以写为
# WordCloud(background_color='white', width=1000, height=800).generate(s).to_file('wc.png')
# 在IPython中执行下面命令可显示图片
from IPython.display import Image
Image('wc.png')
  • 运行结果截图
    在这里插入图片描述

指定形状生成词云图

  • 找张指定形状的图片存入
    在这里插入图片描述
from wordcloud import WordCloud
import numpy as np
import PIL.Image as image
s = 'With the improving of semiconductor technology, a single chip integrates more and more processing cores. ' \
    'Highly parallel applications are distributed to tens of processing units. ' \
    'The inter-processor communication delay becomes more and more important for parallel applications.'
mask = np.array(image.open("F:\\code\\编程\\py\\学习代码\\savepng\\heart.png"))
wc = WordCloud(background_color='white', width=1000, height=800, mask=mask)
wc.generate(s)
wc.to_file('F:\\code\\编程\\py\\学习代码\\savepng\\wc3.png')
  • 运行结果截图
    在这里插入图片描述

中文文本云图

import  jieba
from wordcloud import WordCloud
str = '编写程序就是用计算机语言实现算法的过程。可以证明，任何问题都可以由三种基本结构表达出来。这三种基本结构包括顺序结构、选择结构和循环结构。'
jbstr = ' '.join(jieba.lcut(str))  # 用空格将分词列表连接为 字符串
wc = WordCloud(font_path='simkai.ttf', background_color='white', width=500, height=400)  # 楷体,指定中文字体
wc.generate(jbstr)          # 生成词云
wc.to_file('wc2.png')      # 存为wc2.png
  • 另一方法：按频次生成, dic是一个字典,数据类似 {‘a’:10, ‘b’:21, ‘c’:30}

WordCloud().generate_from_frequencies(dic).to_file(‘w.png’)

  • 运行结果截图
    在这里插入图片描述

中文文本分析

import jieba
txt = open("F:\\code\\编程\\py\\学习代码\\savetext\\三国演义.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
#统计词频
counts = {}
for word in words:
    if len(word) == 1:  #排除单个字符的分词结果
        continue
    else:
        counts[word] = counts.get(word,0) + 1
#按词频排序
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
#输出结果
for i in range(15):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))
  • 运行结果
    在这里插入图片描述
  • 观察结果，发现同一个人物会有不同的名字， 这种情况需要整合处理。 同时， 与英文词频统计类似， 需要排除一些人名无关词汇， 如“却说” 、 “将军” 等。为此，对程序做进一步优化。
import jieba
jieba.setLogLevel(jieba.logging.INFO)
#增加一个停用词的集合excludes
excludes = {"将军","却说","荆州","二人","不可","不能","如此"}
txt = open("F:\\code\\编程\\py\\学习代码\\savetext\\三国演义.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
#处理同名情况
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
    counts[rword] = counts.get(rword,0) + 1
#删除停用词
for word in excludes:
    del(counts[word])
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
for i in range(5):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))
  • 运行截图
    在这里插入图片描述
  • 在生成词云图
import jieba
jieba.setLogLevel(jieba.logging.INFO)
from wordcloud import WordCloud
#增加一个停用词的集合excludes
excludes = {"将军","却说","荆州","二人","不可","不能","如此"}
txt = open("F:\\code\\编程\\py\\学习代码\\savetext\\三国演义.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
#处理同名情况
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
    counts[rword] = counts.get(rword,0) + 1
#删除停用词
for word in excludes:
    del(counts[word])
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
dic={}
for i in range(5):
    word, count = items[i]
    dic[word]=count
    print ("{0:<10}{1:>5}".format(word, count))
st=str(dic)#转化成字符串
jbstr = ' '.join(jieba.lcut(st))  # 用空格将分词列表连接为 字符串
wc = WordCloud(font_path='simkai.ttf', background_color='white', width=500, height=400)  # 楷体,指定中文字体
wc.generate(jbstr)          # 生成词云
wc.to_file('F:\\code\\编程\\py\\学习代码\\savepng\\三国人物.png')
  • 运行结果截图
    在这里插入图片描述

文件图片已上传到资源,自取

X在学了
关注
专栏目录
习题 9.7 将第6题的程序分别作以下修改，分析所修改部分的含义以及编译和运行的情况。
weixin_42597789的博客
03-07 2378
习题 9.7 将第6题的程序分别作以下修改，分析所修改部分的含义以及编译和运行的情况。 (1) 将main函数第2行改为 const Student stud(101,78.5); (2) 在(1)的基础上修改程序，使之能正常运行，用change函数修改数据成员num和score的值。 (3) 将main函数改为 int main( ) {Student stud(101,78.5); Student *p=&stud; p->display( ); p->change(101,80
【头歌-Python】Python第七章作业
2301_78289455的博客
04-19 4480
第2关：列表去重 第3关：猜年龄 第4关：集合的属性、方法与运算 第5关：集合介绍 第6关：手机销售统计 第7关：集合添加元素 第8关：列表嵌套字典的排序 第9关：绩点计算 第10关：通讯录（MOD） 第11关：字典增加元素 第12关：字典的属性、方法与应用 第13关：查询省会 第14关：英汉词典 第15关：通讯录（添加）
头歌实践教学平台Python-Python第七章集合与字典作业
LQ370534427的博客
12-09 1万+
【代码】头歌实践教学平台Python-Python第七章集合与字典作业。
python嵩天第七章课后题答案_python语言程序设计嵩天第七章答案
weixin_39783426的博客
01-29 6238
参考答案如下直流负反馈可以稳定电路的静态工作点，嵩天交流负反馈可以改善放大器的动态性能。餐厅环境准备包括：程序( )、背景音乐、通风及温度的准备。设计下列代码的输出结果是______var a = \abcd45 钢锻造后出现带状组织，章答在淬火前需要进行 。零件渗碳后，嵩天一般需经过( )才能达到表面硬度高而且耐磨的目的。程序影响铸铁石墨化过程的因素有哪些？6.为了学好英文，设计把英文单词“...
浙大python课程PTA第七章多文件编程题
qq_69523408的博客
06-20 1377
浙大python课程PTA第七章
【头歌-Python】Python第七章作业（初级）
qq_45801887的博客
06-21 1万+
Python第七章作业（初级） 第七章集合与字典作业 本文提供了第七章的全部 15 道题的 题目、文件附件、参考代码。
python3 程序设计 第7章课后题答案
XJQ100717的博客
05-16 998
快来学习啦
零基础学Python课后实战第七章
quanquanr的博客
05-26 2652
零基础学Python课后实战第六章tips tips 对象：对象是事物存在的实体，如一个人。 通常将对象划分为两部分，即动态部分和静态部分。静态部分被称为“属性”，动态部分指的是对象的行为。 类：是封装对象的属性和行为的载体。对象是类的实例。 面向对象程序设计的三大基本特征：封装、继承和多态。 封装是面向对象编程的核心思想，将对象的属性和行为封装起来，其载体就是类，类通常会对客户隐藏实现其细节，这就是封装的思想。 继承：可以把平行四边形类看作是继承四边形类后产生的类，将类似于平行四边形的类称为子类，类似于
Python第五章作业
热门推荐
m0_70456205的博客
04-05 2万+
【代码】Python第五章作业。第1关回文素；第2关反素数；...第16关单词个数
python第七章_Python------第七章字符串
weixin_39785165的博客
11-30 2701
一.单选题（共7题,70.0分）1 访问字符串中的部分字符的操作称为（ ）。A、分片B、合并C、索引D、赋值正确答案： A2 执行下列语句后的显示结果是（ ）。world=“world”print(“hello”+world)A、helloworldB、"hello"worldC、hello worldD、“hello”+world正确答案： A3 下列表达式中，有3个表达式的值相同，另一个不相同...
python第七章-文件和数据格式化
01-20
1.文本文件 vs 二进制文件 #文本形式打开文件 tf = open(f.txt, rt) print(tf.readline()) tf.close() #二进制形式打开文件 bf = open(f.txt, rb) print(bf.readline()) bf.close() ...2.文件的打开和关闭 ...
Python第七章-用户输入和while循环.pdf
01-18
第七章"Python第七章-用户输入和while循环"主要讲述了如何获取用户输入以及利用`while`循环来构建交互式的程序。 首先，我们讨论的是`input()`函数，它是Python中用于接收用户输入的内置函数。当程序执行到`input()...
python第7章实验代码.txt
12-22
### Python实验书习题代码解析 #### 题目背景 此段代码来源于Python实验书中的习题代码，主要涉及两个问题： 1. **7_1**: 实现一个程序，用于找出在用户指定的范围内所有满足条件的数字。该条件为：数字与其逆序数...
Python办公自动化案例（二）：对比两个Excel数据内容并标出不同
衍生星球的博客
09-14 288
在数据处理和分析的日常工作中，我们经常需要比较两个Excel文件的差异。这可能是为了验证数据的一致性、检查数据的准确性，或者在版本控制中追踪更改。手动比较这些文件不仅耗时，而且容易出错。幸运的是，Python的openpyxl库提供了一种自动化这一过程的方法。
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
最新发布
梦想闹钟
09-15 216
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
爆改YOLOv8|使用MobileNetV4替换yolov8的Backbone
weixin_43986124的博客
09-12 958
MobileNetV4，yolov8改进backbone, yolov8改进， 即插即用
JUC从实战到源码：中断机制与API实现
qq_43843951的博客
09-12 1125
在Java中，线程中断是一种机制，用于通知线程应该停止当前正在执行的任务。中断通常用于协同线程之间的合作，以便让线程在适当的时候终止其工作，尤其是在长时间运行的任务或阻塞操作中。通过学了多线程以及synchronized的相关知识，接下来就到了学习线程中断知识。
Python——俄罗斯方块
2302_81225694的博客
09-14 627
这段代码使用了Pygame库来实现游戏的图形界面，通过键盘控制方块的移动和旋转。游戏循环不断更新方块的位置和网格状态，并绘制在屏幕上。在方块达到底部或无法继续移动时，判断是否有满行，并清除满行的方块。游戏会根据方块的状态和移动情况不断更新，直到无法继续下落为止，游戏结束。俄罗斯方块游戏是一款经典的益智游戏，通常使用编程语言Python来实现。请注意，这只是一个简单的示例，可能还有一些功能和优化方面的改进。您可以根据自己的需求进行修改和扩展。
JIT编译器
Flying_Fish_roe的博客
09-11 602
JIT（Just-In-Time，实时编译）编译器是 Java 虚拟机（JVM）中的一项重要技术，用于将 Java 字节码（Bytecode）在运行时动态编译为机器码。Java 程序最初通过编译器（如javac）将源代码编译为字节码，字节码在 JVM 中解释执行。然而，由于解释执行每次都需要逐条翻译字节码指令为机器指令，这种方式效率较低。为了解决性能问题，JIT 编译器在程序运行时将热点代码编译为机器码，从而提高运行效率。JIT 编译器是 Java“编译型”和“解释型”语言的结合特性的重要体现之一。
头哥Python第七章
01-17
头哥Python第七章主要包括两个任务描述。第一个任务描述是利用数据文件统计成绩，参考代码如下： ```python import json with open('step7/score1034.json', 'r', encoding='utf-8') as f: txt = json.loads(f....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

X在学了

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值