词云怎么做

NLP文本多样性可视化开源组件大赏:TextGrapher图谱、wordcloud词云、shifterator差异性等项目总结

一、基于wordcloud/stylecloud库进行文本词云可视化
1、使用pyecharts进行词云可视化
Apache ECharts是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可,Pyecharts是echarts的python实现版本,pyecharts库下的wordcloud子类客实现词云这一任务,与Tableau生成词云的方式类似,pyecharts也要求输入的数据是经过筛选和统计好的数据,但所有图表均可交互,算是它的一项优势。
地址:https://github.com/pyecharts/pyecharts
1)实现案例

from pyecharts import options as opts
from pyecharts.charts import Page, WordCloud
 
words = [
    ("我爱你", 10000), ("美丽", 6181),("天空", 4386),
    ("江西", 4055),("任务", 2467), ("红色", 2244),
    ("大海", 1868), ("人民", 1281)
]
 
def wordcloud_base() -> WordCloud:
    c = (
        WordCloud()
        .add("", words, word_size_range=[20, 100])
        .set_global_opts(title_opts=opts.TitleOpts(title="案例"))
    )
    return c
 
wd = wordcloud_base()
wd.render("word_demo.html")

2、wordcloud
wordcloud.WordCloud() 方法,代表一个文本对应的词云,可以根据文本中词语出现的频率等参数绘制词云,绘制词云的形状、尺寸和颜色均可设定,并且可以给定任意一张图片,生成相应形状的词云结果。
项目地址:https://github.com/amueller/word_cloud
1)实践案例

import wordcloud
text = "An angry mob of anti-vaccine protesters stormed what they thought was BBC headquarters in London on Monday, only to discover that they had been grossly misinformed about its location, among other things.
Videos show the protesters trying to push through a police line and charge the doors of the Television Centre in west London on Monday in a misguided attempt to disrupt BBC Television’s operations. They were about eight years too late, as the U.K.’s public broadcaster moved out of that space in 2013."
w = wordcloud.WordCloud(background_color="white")  # 把词云当做一个对象
w.generate(text)
w.to_file("wordcloud.png")

3、stylecloud
stylecloud基于wordcloud库,使用方法更简单一些,支持词云图图标形状设置,轻松解决词云的蒙版【预先设定图形路径】和配色问题,stylecloud可支持传入字、符串列表,可直接读取csv文件(csv有两列,word和freq),并兼容wordcloud。
地址:https://github.com/minimaxir/stylecloud
1)实践案例
在这里,同样借鉴【大邓和他的python】的开源项目,例如,给定一个保存高考的词频csv文件(高考.csv),包括两列,一列是词语word,另一列是词频freq,style-cloud可以直接进行读取。
2)代码实现

import stylecloud
stopwords = open('data/stopwords.txt', encoding='utf-8').read().split('\n')

stylecloud.gen_stylecloud(file_path='高考.csv',
                          font_path='SourceHanSansCN-Regular.otf',
                          output_name='高考.png',
                          icon_name='fas fa-user-graduate',//设定的图形文件
                          size=500,
                          custom_stopwords=stopwords)

二、基于TextGrapher进行文本图谱可视化展示

如何用图谱和结构化的方式,即以简洁的方式对输入的文本内容进行最佳的语义表示是个难题。 本项目将对这一问题进行尝试,采用的方法为:输入一篇文档,将文档进行关键信息提取,采用了高频词,关键词,命名实体识别,主谓宾短语识别等抽取方式,并尝试将三类信息进行图谱组织表示,并最终组织成图谱组织形式,形成对文章语义信息的图谱化展示。
这是老刘的一个开源项目:
项目地址:https://github.com/liuhuanyong/TextGrapher
1)代码实现

from text_grapher import *
handler = CrimeMining()
content = """
  5月7日20时许,昌平警方针对霍营街道某小区一足疗店存在卖淫嫖娼问题的线索,组织便衣警力前往开展侦查。
  21时14分,民警发现雷某(男,29岁,家住附近)从该足疗店离开,立即跟进,亮明身份对其盘查。雷某试图逃跑,在激烈反抗中咬伤民警,并将民警所持视频拍摄设备打落摔坏,后被控制带上车。行驶中,雷某突然挣脱看管,从车后座窜至前排副驾驶位置,踢踹驾驶员迫使停车,打开车门逃跑,被再次控制。因雷某激烈反抗,为防止其再次脱逃,民警依法给其戴上手铐,并于21时45分带上车。在将雷某带回审查途中,发现其身体不适,情况异常,民警立即将其就近送往昌平区中西医结合医院,22时5分进入急诊救治。雷某经抢救无效于22时55分死亡。
  当晚,民警在足疗店内将朱某(男,33岁,黑龙江省人)、俞某(女,38岁,安徽省人)、才某(女,26岁,青海省人)、刘某(女,36岁,四川省人)和张某(女,25岁,云南省人)等5名涉嫌违法犯罪人员抓获。经审查并依法提取、检验现场相关物证,证实雷某在足疗店内进行了嫖娼活动并支付200元嫖资。目前,上述人员已被昌平警方依法采取强制措施。
  为进一步查明雷某死亡原因,征得家属同意后,将依法委托第三方在检察机关监督下进行尸检。
  男子“涉嫌嫖娼死亡”,家属提多个疑点 要求公开执法记录视频
  5月7日晚,中国人民大学环境学院2009级硕士研究生雷洋离家后身亡,昌平警方通报称,警方查处足疗店过程中,将“涉嫌嫖娼”的雷某控制并带回审查,此间雷某突然身体不适经抢救无效身亡。
  面对雷洋的突然死亡,他的家人表示现在只看到了警方的一条官方微博,对于死因其中只有一句“该人突然身体不适”的简单描述,他们希望能够公布执法纪录仪视频,尽快还原真相。
  由雷洋的同学发布的一份情况说明称,5月7日,由于雷洋夫妇刚得一女,其亲属欲来京探望,航班预计当晚23点30分到达。当晚21时左右,雷洋从家里出门去首都机场迎接亲属,之后雷洋失联。(来源:央视、新京报)
"""
handler.main(content)

在这里插入图片描述
三、基于shifterator进行文本之间词语差异性计算

Shifterator是一个Python软件包,用于通过词移将文本之间的配对比较可视化,这是一种提取哪些词对两个文本之间的差异有贡献的一般方法,通过词移图可视化,详细的、可解释的水平条形图显示了词移的相互作用成分,可用于直接的文本比较、情感分析等场景。
项目地址: https://shifterator.readthedocs.io/en/latest/
1、基本概述
具体的,该工具将文本作为数据来处理,并映射出两个文本如何相似或不同的复杂问题,涵盖了常见的文本比较措施,包括相对频率、Shannon熵、Tsallis熵、Kullback-Leibler分歧和Jensen-Shannon分歧。
在这里插入图片描述

例如,上图显示了美国总统林登以及布什的总统演说情感词移动图,左边显示的是基本的词移图,使用的是labMT情感词典(每个词一个分数),右边是通用的词移图,使用的是SocialSent十年适应性情感词典(每个十年每个词一个分数)。
其中,词移显示了对情感差异贡献最大的50个词。从中可以看到,左边的词是那些导致布什的演讲比约翰逊的演讲更消极的词,右边为积极的词,顶端的条形图显示了总体情绪差异和每种类型的词语对该差异的影响。
2、实践案例
一般而言,给定关于外卖评论的数据,即0/1标签的评论数据,0表示差评、1表示好评,如何挖掘决定两个评价的不同词语分布,我们能够直接想到的就是词云对比,分别分词、去除停用词后进行比对。但Shifterator给了我们另一个视角。
1)给定数据

label,review
0,差评,11点14订餐,13点20饭才到,2个小时才把我的午饭送到,而且还是打了2次客服电话,1次投诉电话才给送来,要是不打电话都不知道几点能吃上午饭?
0,我让多加汁也没加,怎么吃啊?干了吧唧的
0,慢,多远的距离,那么长时间
0,盒子很精致,味道还好。整体不错
0,餐呢?就为了不半价,餐没送来就确认了?必须投诉
0,不管口味如何,送了两个多小时,不骂街我已经是素质好了
0,总是很晚送到
0,"不好吃,饭根本不像饭,难吃的咽不下去"
0,除了速度慢,其他都挺好。速度忒慢了,等了一个小时二十分钟。
1,南瓜粥一般般,卷饼不错
1,味道不错,送餐时间一个多小时
1,天天吃,会不会长胖
1,很好,也很快不错
1,"虽然送餐时间稍晚,但是味道好吃,没得说,态度也很好"
1,速度好快!
1,很准时,而且这次包装很认真,用券太划算了!
1,味道不错,就是量不大
1,肘子挺好吃~
1,经济实惠,又好吃,打包的还好

2)实现代码

import pandas as pd
import collections
import jieba
import re 
from shifterator import EntropyShift
import matplotlib

reviews_df = pd.read_csv("data/WaiMai8k.csv", encoding='utf-8')
reviews_df.head()
texts_neg = reviews_df[reviews_df['label']==0]['review'].tolist()
texts_pos = reviews_df[reviews_df['label']==1]['review'].tolist()
def clean_text(docs):
    stop_words = open('data/stopwords.txt', encoding='utf-8').read().split('\n')
    text = "".join(docs)
    text = "".join(re.findall("[\u4e00-\u9fa5]+", text))
    words = jieba.lcut(text)
    words = [w for w in words if w not in stop_words]
    wordfreq_dict = collections.Counter(words)
    return wordfreq_dict
clean_texts_neg = clean_text(texts_neg)
clean_texts_pos = clean_text(texts_pos)

matplotlib.rc("font", family='Arial Unicode MS')

entropy_shift = EntropyShift(type2freq_1=clean_texts_neg,
                             type2freq_2=clean_texts_pos,
                             base=2)
entropy_shift.get_shift_graph(title='外卖差评 vs 外卖好评')

从中可以看到:最能决定外卖差评的用语是配送时间,其次才是口味,最能决定外卖好评的似乎是口味,其次才是配送时间。
地址:
https://github.com/ryanjgallagher/shifterator
在这里插入图片描述
四、基于Matplotlib-barchart-race进行数据动态可视化

1、基本概述
Matplotlib是一个非常强大的Python画图工具,可以使用该工具将很多数据通过图表的形式更直观的呈现出来,支持绘制线图、散点图、等高线图、条形图、柱状图、3D 图形、甚至是图形动画等等。
于此对应的,Pyplot是Matplotlib的子库,提供了和MATLAB 类似的绘图API,包含一系列绘图函数的相关函数,每个函数会对当前的图像进行一些修改,如给图像加上标记,生新的图像,在图像中产生新的绘图区域等等。
在这里插入图片描述
项目地址:https://matplotlib.org/stable/gallery/index.html
其中,对于一个具有时许特征的数据来说,如何获取动态数据演化图是我们场景的一个使用场景,例如观察不同国家在过去几十年来的机场吞吐量对比、不同影视明星的排名对比,不同国家的进出口/GDP等数据等对比等。
2、实践案例
pratapvardhan提供了一个简易实现的案例,假设我们有一以下数据,包括了不同年度、不同国家的人口数量,如何使用matplotlib完成绘制。
1)给定数据
matplotlie提供了简易的实现方式,通过使用其中的animatation来实现动图的制作。
实现代码

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.ticker as ticker
import matplotlib.animation as animation
from IPython.display import HTML
url = 'https://gist.githubusercontent.com/johnburnmurdoch/4199dbe55095c3e13de8d5b2e5e5307a/raw/fa018b25c24b7b5f47fd0568937ff6c04e384786/city_populations'
df = pd.read_csv(url, usecols=['name', 'group', 'year', 'value'])
df.head(3)
colors = dict(zip(
    ["India", "Europe", "Asia", "Latin America", "Middle East", "North America", "Africa"],
    ["#adb0ff", "#ffb3ff", "#90d595", "#e48381", "#aafbff", "#f7bb5f", "#eafb50"]
))
group_lk = df.set_index('name')['group'].to_dict()

"""Run below cell `draw_barchart(2018)` draws barchart for `year=2018`"""

fig, ax = plt.subplots(figsize=(15, 8))

def draw_barchart(current_year):
    dff = df[df['year'].eq(current_year)].sort_values(by='value', ascending=True).tail(10)
    ax.clear()
    ax.barh(dff['name'], dff['value'], color=[colors[group_lk[x]] for x in dff['name']])
    dx = dff['value'].max() / 200
    for i, (value, name) in enumerate(zip(dff['value'], dff['name'])):
        ax.text(value-dx, i,     name,           size=14, weight=600, ha='right', va='bottom')
        ax.text(value-dx, i-.25, group_lk[name], size=10, color='#444444', ha='right', va='baseline')
        ax.text(value+dx, i,     f'{value:,.0f}',  size=14, ha='left',  va='center')
    ax.text(1, 0.4, current_year, transform=ax.transAxes, color='#777777', size=46, ha='right', weight=800)
    ax.text(0, 1.06, 'Population (thousands)', transform=ax.transAxes, size=12, color='#777777')
    ax.xaxis.set_major_formatter(ticker.StrMethodFormatter('{x:,.0f}'))
    ax.xaxis.set_ticks_position('top')
    ax.tick_params(axis='x', colors='#777777', labelsize=12)
    ax.set_yticks([])
    ax.margins(0, 0.01)
    ax.grid(which='major', axis='x', linestyle='-')
    ax.set_axisbelow(True)
    ax.text(0, 1.15, 'The most populous cities in the world from 1500 to 2018',
            transform=ax.transAxes, size=24, weight=600, ha='left', va='top')
    ax.text(1, 0, 'by @pratapvardhan; credit @jburnmurdoch', transform=ax.transAxes, color='#777777', ha='right',
            bbox=dict(facecolor='white', alpha=0.8, edgecolor='white'))
    plt.box(False)
draw_barchart(2018)
fig, ax = plt.subplots(figsize=(15, 8))
animator = animation.FuncAnimation(fig, draw_barchart, frames=range(1900, 2019))
HTML(animator.to_jshtml())
# or use animator.to_html5_video() or animator.save()

地址:
https://colab.research.google.com/github/pratapvardhan/notebooks/blob/master/barchart-race-matplotlib.ipynb#scrollTo=FwlbfAoVzzXd

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要制作词云,可以使用Python中的wordcloud库。以下是一个简单的示例代码,用于生成一个基本的词云图: ``` python from wordcloud import WordCloud text = "这是一个文本,用于生成词云。" # 生成词云 wordcloud = WordCloud().generate(text) # 显示词云图 import matplotlib.pyplot as plt plt.imshow(wordcloud, interpolation='bilinear') plt.axis("off") plt.show() ``` 上述代码中,`text`是要生成词云的文本。`WordCloud()`是wordcloud库中的一个类,用于生成词云对象。`generate()`方法用于根据输入文本生成词云。最后,使用matplotlib库中的函数来显示词云图。 如果要调整词云的外观,可以使用WordCloud类的各种参数,例如`background_color`、`width`和`height`等。此外,还可以使用`mask`参数来指定词云的形状。 ### 回答2: Python是一种使用广泛的编程语言,也可以用来制作各种各样的图像,包括词云。下面是使用Python制作词云的几个步骤: 1. 导入所需的库: 首先,我们需要导入一些库来帮助我们制作词云。其中最主要的是`wordcloud`库和`matplotlib`库。 2. 获取需要生成词云的文本数据: 我们需要准备一个包含文本内容的数据。可以直接将文本写在代码中,或者从文本文件中读取。 3. 数据预处理: 为了生成更好的词云,我们需要进行一些数据预处理,如去除停用词、标点符号、数字等。可以使用`nltk`等库来进行文本处理。 4. 创建词云对象: 使用`wordcloud`库中的`WordCloud`类来创建一个词云对象,可以设置词云的大小、形状、背景颜色等参数。 5. 生成词云图像: 调用词云对象的`generate`方法,传入文本数据,生成词云图像。 6. 显示或保存词云图像: 可以使用`matplotlib`库中的`pyplot`模块来显示词云图像,也可以调用词云对象的`to_file`方法保存为图片文件。 综上所述,这就是使用Python制作词云的基本步骤。通过调整参数和对文本数据进行更详细的处理,可以生成各种不同样式的词云图像,为文本提供更加直观的展示效果。 ### 回答3: Python可以使用WordCloud库来制作词云。首先,需要安装WordCloud库,可以使用pip工具来安装,命令为"pip install wordcloud"。安装完成后,可以使用以下步骤来制作词云。 1. 导入所需的库: ``` import matplotlib.pyplot as plt from wordcloud import WordCloud ``` 2. 准备文本数据: 将需要制作词云的文本数据存储在一个字符串变量中,如"text"。 3. 创建WordCloud对象: ``` wc = WordCloud() ``` 4. 生成词云图: ``` wc.generate(text) ``` 5. 可选:设置词云图的样式参数,如字体、背景颜色等: ``` wc.font_path = 'font.ttf' # 设置字体路径 wc.background_color = 'white' # 设置背景颜色 wc.width = 800 # 设置词云图宽度 wc.height = 600 # 设置词云图高度 ``` 6. 可选:显示词云图和保存词云图: ``` plt.imshow(wc, interpolation='bilinear') plt.axis('off') plt.show() # 显示词云图 wc.to_file('wordcloud.png') # 保存词云图 ``` 通过以上步骤,可以用Python制作出一张漂亮的词云图。词云图将会根据文本中不同词语的出现频率和重要性,以可视化形式展示出来,更直观地呈现出文本中的关键词。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值