ELK
文章平均质量分 86
ELK其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch,Logstash 和Kibana。这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为ELK协议栈
Lansonli
CSDN大数据领域博客专家,InfoQ写作社区2022年度影响力作者、华为云社区2022年度十佳博主、华为云享专家、阿里云专家博主、腾讯云开发者社区2022年度最佳作者、腾云先锋(TDP)核心成员、51CTO专家博主,全网二十万多粉丝,知名互联网公司大数据高级开发工程师
展开
-
Elasticsearch基础(七):Logstash如何开启死信队列
在 Logstash 中,死信队列(Dead Letter Queue, DLQ)是用于处理无法写入 Elasticsearch 的失败事件的功能。当 Logstash 无法将某些事件正确地导入 Elasticsearch(例如因为字段映射问题、数据格式问题等),这些事件可以被捕获并存储到死信队列中,以便后续排查和处理。Logstash 会将死信队列存储为特定格式的文件。通过启用死信队列,可以捕获这些失败事件并深入分析问题所在,找到未成功导入 Elasticsearch 的数据。原创 2024-09-11 10:24:25 · 1100 阅读 · 0 评论 -
Elasticsearch基础(六):使用Kibana Lens进行数据可视化
标题填写Delayed flights,选中保存后添加至Dashboard,单击保存并返回,此可视化将立即被添加到仪表板中。完成以上操作后,用户已经成功体验了Kibana Lens灵活的数据可视化功能,在仪表板中创建了条形图、表格、圆环图和树状图等可视化视图。拖动FlightDelay字段到页面中间的可视化区域,创建一个包含计数的可视化。单击右上角保存,标题为Flights Dashboard,单击保存。Lens允许创建多个图层,并允许将多个数据源中的数据组合到一个可视化中。单击右上角的保存,保存仪表板。原创 2024-07-22 20:22:10 · 1451 阅读 · 0 评论 -
Elasticsearch基础(五):使用Kibana Discover探索数据
登录Kibana。在Kibana主页的通过添加集成开始使用区域,单击试用样例数据。在更多添加数据的方式页面下方,单击其他样例数据集。单击Sample flight data数据集下方的添加数据。待添加数据变为查看数据时,表示该数据集已添加完成。原创 2024-07-18 19:54:46 · 1395 阅读 · 0 评论 -
Elasticsearch基础(四):Elasticsearch语法与案例介绍
match_phrase和match一样也是会对搜索query进行分词,但是,不同的是它不是匹配到某一处分词的结果就算是匹配成功了,而是需要query中所有的词都匹配到,而且相对顺序还要一致,而且默认还是连续的,如此一来,限制就更多了。ES的查询有一个很大的特点就是分词。比如ES库存储的是很多的英文好词好句,然后用户想提高自己的英文写作,因此想搜索出一些比较好的表达加在自己的文章中,那这个时候对于用户来讲,严格的匹配方式大概率什么都搜不到,但是像match这样的搜索方式便非常合适。这样是可以匹配到结果的。原创 2024-07-09 08:24:00 · 1099 阅读 · 0 评论 -
Elasticsearch基础(三):Elasticsearch核心原理介绍
一个类型通常是一个索引的一个逻辑分类或分区,允许在一个索引下存储不同类型的文档,相当于关系型数据库中的一张表,例如用户类型、博客类型等。Elasticsearch 5.x允许在一个索引下存储不同类型的文档,Elasticsearch 6.x在一个索引下只允许一个类型,Elasticsearch 7.x索引类型命名只允许_doc,Elasticsearch 8.x不再有索引类型的概念。例如,用户可以拥有一个客户数据的索引,一个商品目录的索引,以及一个订单数据的索引。记录了单词对应的文档结合,由倒排索引组成。原创 2024-07-08 21:52:14 · 1036 阅读 · 0 评论 -
Elasticsearch基础(二):阿里云Elasticsearch快速入门
在上文的返回结果中,前两条商品信息中都出现了每天收益到账消息推送,后面商品信息中只出现了部分关键词消息、推送、收益等,所以越靠前的搜索结果的匹配度越高,分数也越高。这里资源领取只针对新用户,如果是老用户按需购买,初学者就按流量购买,等操作完就把资源及时停止或者删除实例,以防止后面不必要的扣费。在新增IP白名单分组的对话框中,去掉默认的IP地址后(默认禁止所有IP地址访问),将待访问设备的公网IP地址添加至白名单中。搜索成功后,返回结果如下。返回结果中的took表示查询耗时,单位为毫秒,取值不固定。原创 2024-07-03 00:02:44 · 873 阅读 · 0 评论 -
Elasticsearch基础(一):阿里云Elasticsearch简介
不仅提供云上开箱即用的Elasticsearch、Logstash、Kibana、Beats在内的Elastic Stack生态组件,还与Elastic官方合作提供免费X-Pack(白金版高级特性)商业插件,集成了安全、SQL、机器学习、告警、监控等高级特性,被广泛应用于实时日志分析处理、信息检索、以及数据的多维查询和统计分析等场景。高级监控报警服务是基于Elasticsearch开发的,具备采集、监控、报警、诊断、数据处理等多种能力的SAAS服务,为云上用户提供开箱即用的一站式监控报警解决方案。原创 2024-06-22 00:28:57 · 1159 阅读 · 1 评论 -
大数据ELK(二十八):制作Dashboard
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录制作Dashboard一、点击第三个组件图标,并创建一个新的Dashboard二、点击Edit编辑Dashboard三、依次添加我们之前制作好的图表制作Dashboard接下来,我们把前面的几个图形放到一个看板中。这样,我们就可以在一个看板中,浏览各类数据了。一、点击第三个组件图标,并创建一个新的Dashboard二、点击Edit编..原创 2021-12-17 07:30:00 · 1681 阅读 · 2 评论 -
大数据ELK(二十七):数据可视化(Visualize)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录数据可视化(Visualize)一、数据可视化的类型二、以饼图展示404与200的占比三、以条形图方式展示2020年5月每日请求数四、以TSVB可视化不同访问来源的数据五、制作用户选择请求方式、响应字节大小控制组件1、控制组件2、Kibana开发数据可视化(Visualize)Kibana中的Visualize可以基于Elastics..原创 2021-12-16 06:30:00 · 2532 阅读 · 4 评论 -
大数据ELK(二十六):探索数据(Discovery)
探索数据(Discovery)通过Kibana中的Discovery组件,我们可以快速地进行数据的检索、查询。一、使用探索数据功能点击按钮可以打开Discovery页面。我们发现没有展示任何的数据。但我们之前已经把数据导入到Elasticsearch中了。Kibana提示,让我们扩大我们的查询的时间范围默认Kibana是展示最近15分钟的数据。我们把时间范围调得更长一些,就可以看到数据了将时间范围选择为1年范围内的,我们就可以查看到Elasticsearc...原创 2021-12-15 06:45:00 · 1586 阅读 · 2 评论 -
大数据ELK(二十五):添加Elasticsearch数据源
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录添加Elasticsearch数据源一、Kibana索引模式添加Elasticsearch数据源一、Kibana索引模式可以通过定义索引模式(Index Patterns)来对应匹配Elasticsearch索引。在第一次访问Kibana的时候,系统会提示我们定义一个索引模式。或者我们可以通过点击按钮,再点击Kibana下方的Index Patterns,来创..原创 2021-12-14 07:30:00 · 1546 阅读 · 5 评论 -
大数据ELK(二十四):安装Kibana
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。安装Kibana在Linux下安装Kibana,可以使用Elastic stack提供 tar.gz压缩包。官方下载地址:Kibana 7.6.1 | Elastic1、解压Kibana gz压缩包tar -xzf kibana-7.6.2-linux-x86_64.tar.gz2、进入到Kibana目录cd kibana-7.6.2-linux-x86_..原创 2021-12-13 07:00:00 · 840 阅读 · 2 评论 -
大数据ELK(二十三):Kibana简介
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。Kibana简介通过上面的这张图就可以看到,Kibana可以用来展示丰富的图表。Kibana是一个开源的数据分析和可视化平台,使用Kibana可以用来搜索Elasticsearch中的数据,构建漂亮的可视化图形、以及制作一些好看的仪表盘 Kibana是用来管理Elastic stack组件的可视化平台。例如:使用Kibana可以进行一些安全设置、用户角色设置、对Elas..原创 2021-12-12 07:00:00 · 3944 阅读 · 2 评论 -
大数据ELK(二十二):采集Apache Web服务器日志
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录采集Apache Web服务器日志一、需求二、准备日志数据三、使用FileBeats将日志发送到Logstash四、配置Logstash接收FileBeat数据并打印五、Logstash输出数据到Elasticsearch1、重新拷贝一份配置文件2、将output修改为Elasticsearch3、重新启动Logstash4、追加一条日志到..原创 2021-12-11 07:30:00 · 1386 阅读 · 6 评论 -
大数据ELK(二十一):Logstash简介和安装
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录Logstash简介和安装一、简介1、经典架构2、对比Flume3、对比FileBeat二、安装Logstash1、切换到lanson用户2、下载Logstash3、解压Logstash到指定目录4、运行测试Logstash简介和安装一、简介Logstash是一个开源的数据采集引擎。它可以动态地将不同来源的数据统一采集,并按照指..原创 2021-12-10 12:30:00 · 1417 阅读 · 6 评论 -
大数据ELK(二十):FileBeat是如何工作的
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录FileBeat是如何工作的一、input和harvester1、inputs(输入)2、Harvesters(收割机)二、FileBeats如何保持文件状态FileBeat是如何工作的FileBeat主要由input和harvesters(收割机)组成。这两个组件协同工作,并将数据发送到指定的输出。一、input和harvester1、i..原创 2021-12-09 11:45:00 · 1044 阅读 · 5 评论 -
大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录使用FileBeat采集Kafka日志到Elasticsearch一、需求分析二、配置FileBeats1、input配置2、output配置三、配置文件1、创建配置文件2、复制一下到配置文件中四、运行FileBeat1、运行FileBeat2、将日志数据上传到/var/kafka/log,并解压五、查询数据1、查看索引信息..原创 2021-12-08 10:30:00 · 4774 阅读 · 9 评论 -
大数据ELK(十八):Beats 简单介绍和FileBeat工作原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录Beats 简单介绍和FileBeat工作原理一、Beats二、FileBeat简介三、FileBeat的工作原理四、安装FileBeatBeats 简单介绍和FileBeat工作原理一、BeatsBeats是一个开放源代码的数据发送器。我们可以把Beats作为一种代理安装在我们的服务器上,这样就可以比较方便地将数据发送到Elasticsearch..原创 2021-12-07 09:00:00 · 1160 阅读 · 3 评论 -
大数据ELK(十七):Elasticsearch SQL 订单统计分析案例
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录订单统计分析案例一、案例介绍二、创建索引三、导入测试数据四、统计不同支付方式的的订单数量1、使用JSON DSL的方式来实现2、基于Elasticsearch SQL方式实现五、基于JDBC方式统计不同方式的订单数量六、统计不同支付方式订单数,并按照订单数量倒序排序七、只统计「已付款」状态的不同支付方式的订单数量八、统计不同状态的订单总..原创 2021-12-06 07:00:00 · 2643 阅读 · 9 评论 -
大数据ELK(十六):Elasticsearch SQL(职位查询案例)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录职位查询案例一、查询职位索引库中的一条数据二、将SQL转换为DSL三、职位scroll分页查询1、第一次查询2、第二次查询3、清除游标四、职位全文检索1、需求2、MATCH函数3、实现职位查询案例一、查询职位索引库中的一条数据format:表示指定返回的数据类型//1.查询职位信息GET/_sql?form...原创 2021-12-05 09:00:00 · 1047 阅读 · 6 评论 -
大数据ELK(十五):Elasticsearch SQL简单介绍
Elasticsearch SQLElasticsearch SQL允许执行类SQL的查询,可以使用REST接口、命令行或者是JDBC,都可以使用SQL来进行数据的检索和数据的聚合。原创 2021-12-04 11:30:00 · 2938 阅读 · 2 评论 -
大数据ELK(十四):Elasticsearch编程(基本操作)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录基本操作一、根据ID检索指定职位数据2、编写测试用例二、修改职位1、实现步骤2、编写测试用例三、根据文档ID删除职位1、实现步骤2、编写测试用例四、根据关键字检索数据1、实现步骤2、编写测试用例五、分页检索1、实现步骤2、编写测试用例六、scroll分页检索1、实现步骤2、编写测试用例七、高亮查询1...原创 2021-12-02 00:15:20 · 2784 阅读 · 0 评论 -
大数据ELK(十三):Elasticsearch编程(添加职位数据)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录Elasticsearch编程一、添加职位数据1、初始化客户端连接2、实现关闭客户端连接3、编写代码实现新增职位数据4、编写测试用例测试添加方法Elasticsearch编程一、添加职位数据1、初始化客户端连接使用RestHighLevelClient构建客户端连接。 基于RestClient.builder方法来构建RestClie..原创 2021-11-29 23:55:20 · 2114 阅读 · 2 评论 -
大数据ELK(十二):Elasticsearch编程(环境准备)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录Elasticsearch编程一、环境准备1、准备IDEA项目结构2、准备POM依赖3、创建用于保存职位信息的实体类4、编写接口和实现类5、创建实现类Elasticsearch编程要将搜索的功能与前端对接,我们必须要使用Java代码来实现对Elasticsearch的操作。我们要使用一个JobService类来实现之前我们用RESTFul完...原创 2021-11-27 00:25:07 · 2256 阅读 · 5 评论 -
大数据ELK(十一):Elasticsearch架构原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片(Shard)2、副本3、指定分片、副本数量三、Elasticsearch重要工作流程1、Elasticsearch文档写入原理2、Elasticsearch检索原理四、Elasticsea..原创 2021-10-04 22:27:37 · 1156 阅读 · 12 评论 -
大数据ELK(十):使用VSCode操作猎聘网职位搜索案例
猎聘网职位搜索案例一、需求本次案例,要实现一个类似于猎聘网的案例,用户通过搜索相关的职位关键字,就可以搜索到相关的工作岗位。我们已经提前准备好了一些数据,这些数据是通过爬虫爬取的数据,这些数据存储在CSV文本文件中。我们需要基于这些数据建立索引,供用户搜索查询。数据集介绍 字段名 说明 数据 doc_id 唯一标识(作为文档ID) 29097 are.原创 2021-10-01 14:56:35 · 3615 阅读 · 15 评论 -
大数据ELK(九):使用VSCode测试分词器
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录系列历史文章使用VSCode测试分词器一、准备VSCode开发环境二、测试分词器1、打开VSCode2、新建一个文件,命名为0.IK分词器测试.es3、右键点击命令面板 菜单4、选择ES:Elastic: Set Host,然后输入Elasticsearch的机器名和端口号5、将以下内容复制到ES中,并测试系列历史文章2021年大数...原创 2021-09-28 22:13:24 · 1180 阅读 · 4 评论 -
大数据ELK(八):Elasticsearch安装IK分词器插件
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录系列历史文章安装IK分词器一、下载Elasticsearch IK分词器二、切换到lanson用户,并在es的安装目录下/plugins创建ik三、将下载的ik分词器上传并解压到该目录四、将plugins下的ik目录分发到每一台服务器五、重启Elasticsearch系列历史文章2021年大数据ELK(八):Elasticsearch安装IK分..原创 2021-09-27 00:16:46 · 1203 阅读 · 11 评论 -
大数据ELK(七):安装Elasticsearch-head插件
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch-head插件一、安装nodejs1、下载安装包2、创建软连接3、修改环境变量二、在线安装(网速慢,不推荐)1、在线安装必须依赖包2、从git上面克隆编译包并进行安装3、node1机器修改Gruntfile.js4、node01机器修改app.js三、本地安装(推荐)1、上传压缩包到/e..原创 2021-09-25 18:44:30 · 2297 阅读 · 9 评论 -
大数据ELK(五):Elasticsearch中的核心概念
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。系列历史文章2021年大数据ELK(五):Elasticsearch中的核心概念2021年大数据ELK(四):Lucene的美文搜索案例2021年大数据ELK(三):Lucene全文检索库介绍2021年大数据ELK(二):Elasticsearch简单介绍2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介Elasticsea...原创 2021-09-19 22:51:15 · 1342 阅读 · 6 评论 -
大数据ELK(六):安装Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch一、创建普通用户二、为普通用户itcast添加sudo权限三、上传压缩包并解压四、修改配置文件1、修改elasticsearch.yml2、修改jvm.option五、将安装包分发到其他服务器上面六、node2与node3修改es配置文件七、修改系统配置,解决启动时候的问题1、普通...原创 2021-09-21 23:02:44 · 1051 阅读 · 6 评论 -
大数据ELK(四):Lucene的美文搜索案例
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录系列历史文章美文搜索案例一、需求二、准备工作1、创建IDEA项目2、创建父工程3、添加lucene模块4、导入Maven依赖5、创建包和类6、导入文章数据三、建立索引库1、实现步骤2、参考代码四、关键字查询1、需求2、准备工作3、开发步骤4、参考代码五、搜索词语问题六、分词器与中文分词器七、使用...原创 2021-09-18 23:32:05 · 2646 阅读 · 17 评论 -
大数据ELK(三):Lucene全文检索库介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录系列历史文章一、什么是全文检索1、结构化数据与非结构化数据2、搜索结构化数据和非结构化数据3、全文检索二、Lucene简介三、倒排索引结构四、企业中为什么不直接使用Lucene1、Lucene的内建不支持分布式2、区间范围搜索速度非常缓慢3、可靠性无法保障系列历史文章2021年大数据ELK(三):Lucene全文检索库介绍..原创 2021-09-12 21:54:06 · 1689 阅读 · 3 评论 -
大数据ELK(二):Elasticsearch简单介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录系列历史文章一、Elasticsearch简介1、介绍2、创始人二、Elasticsearch可以做什么1、信息检索2、企业内部系统搜索3、数据分析引擎三、Elasticsearch特点1、海量数据处理2、开箱即用3、作为传统数据库的补充四、哪些公司在使用Elasticsearch五、ElasticSearch使用案...原创 2021-09-11 17:59:12 · 2426 阅读 · 13 评论 -
大数据ELK(一):集中式日志协议栈Elastic Stack简介
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录系列历史文章一、简介二、ELK 协议栈介绍及体系结构三、集中式日志协议栈组件功能简介系列历史文章2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介一、简介日常工作中会面临很多问题,处理问题时候。怎么解决问题?通过工作经验,迅速判断问题出在哪。 通过日志 系统日志:/var/log 目录下的问题的文件 程序日志...原创 2021-09-11 13:45:21 · 1258 阅读 · 3 评论