Elasticsearch + Kibana实现词云

已于 2023-07-08 18:23:27 修改
阅读量984 收藏 1
点赞数
文章标签： elasticsearch 大数据
于 2023-07-08 14:57:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42393758/article/details/131611398
版权

需求

  • 实现文件导入es，支持格式TXT、DOC、PPT、XLS、PDF、图片
  • ik分词器远程热更新自定义扩展字典和停用字典
  • Kibana配置词云，并显示对应文档详情和字典频次，且自定义显示字典

技术点

  • 文件导入：es插件ingest-attachment
  • 图片文字识别：百度OCR（其实可以自己部署一套PaddleHub, 更推荐，为啥这次不用呢，问就是赶时间！）

参考文章

Kibana操作

在这里插入图片描述

一. 生成词云

  • 首先创建对应的索引模式在这里插入图片描述
  • 创建词云
    在这里插入图片描述
    在这里插入图片描述
  • 选择开始建好的索引模式
    在这里插入图片描述
  • 基础使用，生成词云
    在这里插入图片描述
  • 高级用法1，设置只显示字典，可以看到上面设置的大小为10，但是还是只显示了自定义的3个字典。
    在这里插入图片描述
  • 高级用法2，设置过滤字典，可以看到左侧生成的词云已经没有过滤的字典了。
    在这里插入图片描述

二. 生成对应的频次和内容详情

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

sskai163
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java词云_如何用java整合es实现词云统计?
weixin_30213173的博客
02-12 623
TermVectorsRequest request = new TermVectorsRequest(index, indexType, id);request.setFields("content");request.setFieldStatistics(true);request.setTermStatistics(true);request.setPositions(true);reque...
Java中文分词生成词云GUI
12-12
java中文分词，协同过滤算法词频分析，javaGUI界面初步，生成java数据词云
IKAnalyzer 实现分词 词频统计
11-29
IKAnalyzer 实现分词 词频统计，用Eclipse实现，调用IKanalyzer的类，可以用于IKanalyzer的二次开发
python爬取了百万知乎，并做数据分析
datayx的文章
05-24 1104
向AI转型的程序员都关注了这个号????????????人工智能大数据与深度学习 公众号：datayx最近用 python 爬虫抓取了知乎用户个人资料（公开信息），去重之后有300+万...
用 Elasticsearch 造个“知网”难不难？
铭毅天下Elasticsearch
05-24 4073
近期“知网”的热度一直不减，本来可以拿一些热点图片、网友评论作为开场。算了，这不是我一个技术博主该做的。此处仅拿2022年5月24日早晨 6:00 微博搜索“知网”得到的前20条动态信息的词云说话。基于 ik_smart 中文分词器的词云图在网友不建议专家建议的大环境下，作为老百姓对“知网”的建议如下：1、尊重版权，每篇文档被下载（人工备案下载，非爬虫）获得的收益一半（比...
实战 | ELK实现全量Elastic日报（2017-2019）多维度可视化分析
铭毅天下Elasticsearch
06-09 6754
题记 Elastic社区主席M大、Elastic源码解析书作者超哥都曾多次强调Elastic日报是非常好的学习资料，然后呢？ Elastic日报自2017年7月30日发布第一篇文章，截止2019年6月6日，近10位责任编辑累计贡献了1653篇文章。 日报分散在社区文章专区，全部看完至少需要翻页40次+（每页18条数据，还需要过滤掉非日报文章），检索相对不方便。 能不能把Elastic日报爬取并导入...
Java ElasticSearch 进行词云统计
weixin_39503283的博客
04-03 2343
利用ElasticSearch的分词和聚合功能来对文本中的关键词进行词云统计 本文主要针对微博上的新闻来进行分词和词频统计，最后生成词云。具体代码如下： public List wordCloudCount(Class clazz,String keywords){ BoolQueryBuilder boolQuery = QueryBuilders.boolQuery(); ...
Elasticsearch实现词云效果Demo
鹏鹏2077
09-08 724
最近项目中使用Elasticsearch在做快速查询的功能，然后就想到了之前的一个项目中有一个词云的功能，就想用Elasticsearch实现一下词云的效果，实现思路很简单，目前这个demo已经写完了，透露一下很简陋，如何想要在项目中实际应用还需要改进。关于使用这个es实现的这个效果，个人认为这只是一种方案，还有其它的，这里是直接使用的分词工具包，es上还可以安装分词插件，所以我的这种不一定是最好的，这是一种简单的方案希望大家不要被我的这种给迷惑了。
ELK学习实践(九)--IK中文分词、词频统计及词云展现
lordwish的专栏
09-17 1739
Elasticsearch提供了分词功能，能对文本进行分词并进行聚合查询。今天就利用Elasticsearch的IK中文分词插件对学习强国中的几篇文章进行关键词分析，并使用Kibana生成词云。 1.Elasticsearch安装IK分词器 下载地址：github/medcl/elasticsearch-analysis-ik 进入Elasticsearch目录输入命令行安装IK分词器 .\elasticsearch-plugin install https://github.com/medcl/el
Kibana 8.X 如何做出靠谱的词云图？
铭毅天下Elasticsearch
09-05 1472
1、问题产生Kibana 实现一个词云效果并不复杂，甚至可以说非常简单。大致可以分成如下几个步骤：步骤1：已有索引待做词云的 text 类型字段设置：fielddata 为true，以便基于分词结果聚合操作。步骤2：在 8.X 的 kibana 的 Data Views关联索引。步骤3：在dashboard控制面板选择 Aggregation Based 下的 Tag cloud，选择步骤1设定的...
es实战-使用IK分词器进行词频统计
qq_16164711的博客
12-14 3198
本文主要介绍如何通过 IK 分词器进行词频统计。使用分词器对文章的词频进行统计，主要目的是实现如下图所示的词云功能，可以找到文章内的重点词汇。后续也可以对词进行词性标注，实体识别以及对实体的情感分析等功能。 词频统计服务具体模块如下： **数据输入：**文本信息 **数据输出：**词 - 词频(TF-IDF等) - 词性等内容 **使用的组件：**分词器、语料库、词云展示组件等 **功能点：**白名单，黑名单，同义词等 现存的中文分词器有 IK、HanLP、jieba 和 NLPIR 等几种，不同分词器各
根据关键词生成词云
08-22
wordscloud.jar 根据关键词生成词云
filebeat+elasticSearch+kibana 学习体会
07-31
就是学习这三个的一些心得体会，适合初学者，适合给他人讲解使用！
skywalking+es7+nacos+ik+kibana
07-11
skywalking+es7+nacos+ik+kibana
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统
04-30
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
elasticsearch+kibana+ik
04-04
elasticsearch+kibana+ik安装包
filebeat+elasticsearch+kibana在Linux安装详细步骤
08-01
详细介绍了日志系统的安装，包括filebeat和kibana和elasticsearch的基本安装步骤以及注意的地方，当然，没有加权限管理，有需要权限管理的给我留言
grafana 地图_把kibana装到grafana里要几步
weixin_39856709的博客
11-27 408
脚本之家你与百万开发者在一起 作者 |左国才出品 | 脚本之家(ID：jb51net)把kibana装到grafana里要几步？我们想在grafana里给elasticsearch数据源做词云可视化，由于grafana没有词云方面的插件，我们发现kibana里有词云方面的可视化方案tag cloud。我们尝试着把kibana的词云的图形嵌入到grafana里来快速实现了gra...
第一次写文章，没有经验
qq_41530443的博客
09-15 190
第一次文章，请多指教用来测试文章新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 用来测试文章 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇
elasticsearch+kibana安装部署
最新发布
09-09
要安装和部署Elasticsearch和Kibana，你可以按照以下步骤进行操作： 1. 首先，你需要从Elasticsearch官网下载Elasticsearch的安装包。你可以使用以下命令来下载最新版本的Elasticsearch安装包： ``` wget ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值