关注
分享
文章平均质量分 85
ELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash 和Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为ELK协议栈
Lansonli
CSDN大数据领域博客专家，InfoQ写作社区2022年度影响力作者、华为云社区2022年度十佳博主、华为云享专家、阿里云专家博主、腾讯云开发者社区2022年度最佳作者、腾云先锋（TDP）核心成员、51CTO专家博主，全网二十万多粉丝，知名互联网公司大数据高级开发工程师
展开
-
大数据ELK（二十八）：制作Dashboard
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录制作Dashboard一、点击第三个组件图标，并创建一个新的Dashboard二、点击Edit编辑Dashboard三、依次添加我们之前制作好的图表制作Dashboard接下来，我们把前面的几个图形放到一个看板中。这样，我们就可以在一个看板中，浏览各类数据了。一、点击第三个组件图标，并创建一个新的Dashboard二、点击Edit编..原创 2021-12-17 07:30:00 · 1633 阅读 · 2 评论 -
大数据ELK（二十七）：数据可视化（Visualize）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录数据可视化（Visualize）一、数据可视化的类型二、以饼图展示404与200的占比三、以条形图方式展示2020年5月每日请求数四、以TSVB可视化不同访问来源的数据五、制作用户选择请求方式、响应字节大小控制组件1、控制组件2、Kibana开发数据可视化（Visualize）Kibana中的Visualize可以基于Elastics..原创 2021-12-16 06:30:00 · 2490 阅读 · 4 评论 -
大数据ELK（二十六）：探索数据（Discovery）
探索数据（Discovery）通过Kibana中的Discovery组件，我们可以快速地进行数据的检索、查询。一、使用探索数据功能点击按钮可以打开Discovery页面。我们发现没有展示任何的数据。但我们之前已经把数据导入到Elasticsearch中了。Kibana提示，让我们扩大我们的查询的时间范围默认Kibana是展示最近15分钟的数据。我们把时间范围调得更长一些，就可以看到数据了将时间范围选择为1年范围内的，我们就可以查看到Elasticsearc...原创 2021-12-15 06:45:00 · 1476 阅读 · 2 评论 -
大数据ELK（二十五）：添加Elasticsearch数据源
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录添加Elasticsearch数据源一、Kibana索引模式添加Elasticsearch数据源一、Kibana索引模式可以通过定义索引模式（Index Patterns）来对应匹配Elasticsearch索引。在第一次访问Kibana的时候，系统会提示我们定义一个索引模式。或者我们可以通过点击按钮，再点击Kibana下方的Index Patterns，来创..原创 2021-12-14 07:30:00 · 1467 阅读 · 5 评论 -
大数据ELK（二十四）：安装Kibana
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。安装Kibana在Linux下安装Kibana，可以使用Elastic stack提供 tar.gz压缩包。官方下载地址：Kibana 7.6.1 | Elastic1、解压Kibana gz压缩包tar -xzf kibana-7.6.2-linux-x86_64.tar.gz2、进入到Kibana目录cd kibana-7.6.2-linux-x86_..原创 2021-12-13 07:00:00 · 820 阅读 · 2 评论 -
大数据ELK（二十三）：Kibana简介
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。Kibana简介通过上面的这张图就可以看到，Kibana可以用来展示丰富的图表。Kibana是一个开源的数据分析和可视化平台，使用Kibana可以用来搜索Elasticsearch中的数据，构建漂亮的可视化图形、以及制作一些好看的仪表盘 Kibana是用来管理Elastic stack组件的可视化平台。例如：使用Kibana可以进行一些安全设置、用户角色设置、对Elas..原创 2021-12-12 07:00:00 · 3901 阅读 · 2 评论 -
大数据ELK（二十二）：采集Apache Web服务器日志
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录采集Apache Web服务器日志一、需求二、准备日志数据三、使用FileBeats将日志发送到Logstash四、配置Logstash接收FileBeat数据并打印五、Logstash输出数据到Elasticsearch1、重新拷贝一份配置文件2、将output修改为Elasticsearch3、重新启动Logstash4、追加一条日志到..原创 2021-12-11 07:30:00 · 1356 阅读 · 6 评论 -
大数据ELK（二十一）：Logstash简介和安装
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Logstash简介和安装一、简介1、经典架构2、对比Flume3、对比FileBeat二、安装Logstash1、切换到lanson用户2、下载Logstash3、解压Logstash到指定目录4、运行测试Logstash简介和安装一、简介Logstash是一个开源的数据采集引擎。它可以动态地将不同来源的数据统一采集，并按照指..原创 2021-12-10 12:30:00 · 1395 阅读 · 6 评论 -
大数据ELK（二十）：FileBeat是如何工作的
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录FileBeat是如何工作的一、input和harvester1、inputs（输入）2、Harvesters（收割机）二、FileBeats如何保持文件状态FileBeat是如何工作的FileBeat主要由input和harvesters（收割机）组成。这两个组件协同工作，并将数据发送到指定的输出。一、input和harvester1、i..原创 2021-12-09 11:45:00 · 1027 阅读 · 5 评论 -
大数据ELK（十九）：使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录使用FileBeat采集Kafka日志到Elasticsearch一、需求分析二、配置FileBeats1、input配置2、output配置三、配置文件1、创建配置文件2、复制一下到配置文件中四、运行FileBeat1、运行FileBeat2、将日志数据上传到/var/kafka/log，并解压五、查询数据1、查看索引信息..原创 2021-12-08 10:30:00 · 4445 阅读 · 9 评论 -
大数据ELK（十八）：Beats 简单介绍和FileBeat工作原理
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Beats 简单介绍和FileBeat工作原理一、Beats二、FileBeat简介三、FileBeat的工作原理四、安装FileBeatBeats 简单介绍和FileBeat工作原理一、BeatsBeats是一个开放源代码的数据发送器。我们可以把Beats作为一种代理安装在我们的服务器上，这样就可以比较方便地将数据发送到Elasticsearch..原创 2021-12-07 09:00:00 · 1123 阅读 · 3 评论 -
大数据ELK（十七）：Elasticsearch SQL 订单统计分析案例
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录订单统计分析案例一、案例介绍二、创建索引三、导入测试数据四、统计不同支付方式的的订单数量1、使用JSON DSL的方式来实现2、基于Elasticsearch SQL方式实现五、基于JDBC方式统计不同方式的订单数量六、统计不同支付方式订单数，并按照订单数量倒序排序七、只统计「已付款」状态的不同支付方式的订单数量八、统计不同状态的订单总..原创 2021-12-06 07:00:00 · 2590 阅读 · 9 评论 -
大数据ELK（十六）：Elasticsearch SQL（职位查询案例）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录职位查询案例一、查询职位索引库中的一条数据二、将SQL转换为DSL三、职位scroll分页查询1、第一次查询2、第二次查询3、清除游标四、职位全文检索1、需求2、MATCH函数3、实现职位查询案例一、查询职位索引库中的一条数据format：表示指定返回的数据类型//1.查询职位信息GET/_sql?form...原创 2021-12-05 09:00:00 · 1026 阅读 · 6 评论 -
大数据ELK（十五）：Elasticsearch SQL简单介绍
Elasticsearch SQLElasticsearch SQL允许执行类SQL的查询，可以使用REST接口、命令行或者是JDBC，都可以使用SQL来进行数据的检索和数据的聚合。原创 2021-12-04 11:30:00 · 2913 阅读 · 2 评论 -
大数据ELK（十四）：Elasticsearch编程（基本操作）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录基本操作一、根据ID检索指定职位数据2、编写测试用例二、修改职位1、实现步骤2、编写测试用例三、根据文档ID删除职位1、实现步骤2、编写测试用例四、根据关键字检索数据1、实现步骤2、编写测试用例五、分页检索1、实现步骤2、编写测试用例六、scroll分页检索1、实现步骤2、编写测试用例七、高亮查询1...原创 2021-12-02 00:15:20 · 2758 阅读 · 0 评论 -
大数据ELK（十三）：Elasticsearch编程（添加职位数据）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch编程一、添加职位数据1、初始化客户端连接2、实现关闭客户端连接3、编写代码实现新增职位数据4、编写测试用例测试添加方法Elasticsearch编程一、添加职位数据1、初始化客户端连接使用RestHighLevelClient构建客户端连接。 基于RestClient.builder方法来构建RestClie..原创 2021-11-29 23:55:20 · 2073 阅读 · 2 评论 -
大数据ELK（十二）：Elasticsearch编程（环境准备）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch编程一、环境准备1、准备IDEA项目结构2、准备POM依赖3、创建用于保存职位信息的实体类4、编写接口和实现类5、创建实现类Elasticsearch编程要将搜索的功能与前端对接，我们必须要使用Java代码来实现对Elasticsearch的操作。我们要使用一个JobService类来实现之前我们用RESTFul完...原创 2021-11-27 00:25:07 · 2230 阅读 · 5 评论 -
大数据ELK（十一）：Elasticsearch架构原理
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片（Shard）2、副本3、指定分片、副本数量三、Elasticsearch重要工作流程1、Elasticsearch文档写入原理2、Elasticsearch检索原理四、Elasticsea..原创 2021-10-04 22:27:37 · 1139 阅读 · 12 评论 -
大数据ELK（十）：使用VSCode操作猎聘网职位搜索案例
猎聘网职位搜索案例一、需求本次案例，要实现一个类似于猎聘网的案例，用户通过搜索相关的职位关键字，就可以搜索到相关的工作岗位。我们已经提前准备好了一些数据，这些数据是通过爬虫爬取的数据，这些数据存储在CSV文本文件中。我们需要基于这些数据建立索引，供用户搜索查询。数据集介绍 字段名 说明 数据 doc_id 唯一标识（作为文档ID） 29097 are.原创 2021-10-01 14:56:35 · 3587 阅读 · 15 评论 -
大数据ELK（九）：使用VSCode测试分词器
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章使用VSCode测试分词器一、准备VSCode开发环境二、测试分词器1、打开VSCode2、新建一个文件，命名为0.IK分词器测试.es3、右键点击命令面板 菜单4、选择ES:Elastic: Set Host，然后输入Elasticsearch的机器名和端口号5、将以下内容复制到ES中，并测试系列历史文章2021年大数...原创 2021-09-28 22:13:24 · 1148 阅读 · 4 评论 -
大数据ELK（八）：Elasticsearch安装IK分词器插件
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章安装IK分词器一、下载Elasticsearch IK分词器二、切换到lanson用户，并在es的安装目录下/plugins创建ik三、将下载的ik分词器上传并解压到该目录四、将plugins下的ik目录分发到每一台服务器五、重启Elasticsearch系列历史文章2021年大数据ELK（八）：Elasticsearch安装IK分..原创 2021-09-27 00:16:46 · 1181 阅读 · 11 评论 -
大数据ELK（七）：安装Elasticsearch-head插件
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch-head插件一、安装nodejs1、下载安装包2、创建软连接3、修改环境变量二、在线安装（网速慢，不推荐）1、在线安装必须依赖包2、从git上面克隆编译包并进行安装3、node1机器修改Gruntfile.js4、node01机器修改app.js三、本地安装（推荐）1、上传压缩包到/e..原创 2021-09-25 18:44:30 · 2271 阅读 · 9 评论 -
大数据ELK（五）：Elasticsearch中的核心概念
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。系列历史文章2021年大数据ELK（五）：Elasticsearch中的核心概念2021年大数据ELK（四）：Lucene的美文搜索案例2021年大数据ELK（三）：Lucene全文检索库介绍2021年大数据ELK（二）：Elasticsearch简单介绍2021年大数据ELK（一）：集中式日志协议栈Elastic Stack简介Elasticsea...原创 2021-09-19 22:51:15 · 1317 阅读 · 6 评论 -
大数据ELK（六）：安装Elasticsearch
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch一、创建普通用户二、为普通用户itcast添加sudo权限三、上传压缩包并解压四、修改配置文件1、修改elasticsearch.yml2、修改jvm.option五、将安装包分发到其他服务器上面六、node2与node3修改es配置文件七、修改系统配置，解决启动时候的问题1、普通...原创 2021-09-21 23:02:44 · 1030 阅读 · 6 评论 -
大数据ELK（四）：Lucene的美文搜索案例
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章美文搜索案例一、需求二、准备工作1、创建IDEA项目2、创建父工程3、添加lucene模块4、导入Maven依赖5、创建包和类6、导入文章数据三、建立索引库1、实现步骤2、参考代码四、关键字查询1、需求2、准备工作3、开发步骤4、参考代码五、搜索词语问题六、分词器与中文分词器七、使用...原创 2021-09-18 23:32:05 · 2620 阅读 · 17 评论 -
大数据ELK（三）：Lucene全文检索库介绍
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章一、什么是全文检索1、结构化数据与非结构化数据2、搜索结构化数据和非结构化数据3、全文检索二、Lucene简介三、倒排索引结构四、企业中为什么不直接使用Lucene1、Lucene的内建不支持分布式2、区间范围搜索速度非常缓慢3、可靠性无法保障系列历史文章2021年大数据ELK（三）：Lucene全文检索库介绍..原创 2021-09-12 21:54:06 · 1657 阅读 · 3 评论 -
大数据ELK（二）：Elasticsearch简单介绍
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章一、Elasticsearch简介1、介绍2、创始人二、Elasticsearch可以做什么1、信息检索2、企业内部系统搜索3、数据分析引擎三、Elasticsearch特点1、海量数据处理2、开箱即用3、作为传统数据库的补充四、哪些公司在使用Elasticsearch五、ElasticSearch使用案...原创 2021-09-11 17:59:12 · 2385 阅读 · 13 评论 -
大数据ELK（一）：集中式日志协议栈Elastic Stack简介
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章一、简介二、ELK 协议栈介绍及体系结构三、集中式日志协议栈组件功能简介系列历史文章2021年大数据ELK（一）：集中式日志协议栈Elastic Stack简介一、简介日常工作中会面临很多问题，处理问题时候。怎么解决问题？通过工作经验，迅速判断问题出在哪。 通过日志 系统日志：/var/log 目录下的问题的文件 程序日志...原创 2021-09-11 13:45:21 · 1225 阅读 · 3 评论