【Elasticsearch系列四】ELK Stack

于 2024-09-15 20:54:40 发布
阅读量360 收藏 7
点赞数 10
分类专栏： s10 Elasticsearch 文章标签： elasticsearch elk 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qyj19920704/article/details/142288772
版权

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。
img

非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

博客目录

四.ELK Stack

1.何为 ELK?

ELK Stack 是由 Elasticsearch、Logstash 和 Kibana 三个开源工具组成的日志分析平台。它能够高效地处理和分析大量日志数据，帮助用户快速发现、分析和可视化数据。

2.Elasticsearch

Elasticsearch 是一个基于 Lucene 的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 通常用于实现复杂搜索和分析功能，能够处理近实时的搜索请求，并且具有高扩展性和高可靠性。

3.Logstash

Logstash 是一个服务器端数据处理管道，能够同时从多个来源采集数据，对数据进行处理（例如过滤、转换等），然后将数据发送到指定的存储库中。Logstash 具有强大的数据收集和处理能力，是 ELK Stack 中的数据传输中枢。

4.Kibana

Kibana 是一个开源的分析和可视化平台，它能够让用户在 Elasticsearch 中搜索、查看和交互数据，并通过图表、地图和仪表板等多种形式进行数据可视化。Kibana 的使用非常简单，用户可以通过它快速创建和共享数据视图。

5.实现步骤

ELK 的安装通常涉及以下步骤：

  1. 下载并安装 Elasticsearch。
  2. 下载并安装 Logstash，并配置输入、过滤和输出插件。
  3. 下载并安装 Kibana，配置与 Elasticsearch 的连接。
1.日志数据收集

在实际应用中，Logstash 可以从多种数据源（如文件、数据库、消息队列等）收集日志数据。通过配置 Logstash 的输入插件，可以轻松地将数据导入到 ELK Stack 中。

2.数据处理

收集到的数据可以通过 Logstash 的过滤插件进行处理，如数据清洗、格式转换等。这一步骤确保了数据的质量和一致性。

3.数据可视化

在 Kibana 中，用户可以创建多种可视化组件，如柱状图、折线图、饼图等，以直观地展示数据。此外，Kibana 还支持创建仪表板，将多个可视化组件组合在一起，提供全面的数据分析视图。

6.日志分析

需求：集中收集分布式服务的日志

  • 逻辑模块程序随时输出日志

  • logstash 收集日志到 es

  • 在 kibana 中查看日志,展示数据

package com.itheima.es;

import org.junit.Test;
import org.junit.runner.RunWith;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import java.util.Random;

/**
 * creste by itheima.itcast
 */
@SpringBootTest
@RunWith(SpringRunner.class)
public class TestLog {
    private static final Logger LOGGER= LoggerFactory.getLogger(TestLog.class);

    @Test
    public void testLog(){
        Random random =new Random();

        while (true){
            int userid=random.nextInt(10);
            LOGGER.info("userId:{},send:{}",userid,"hello world.I am "+userid);
            try {
                Thread.sleep(500);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
}

7.grok 内置类型

写 logstash 配置文件

USERNAME [a-zA-Z0-9._-]+
USER %{USERNAME}
INT (?:[+-]?(?:[0-9]+))
BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER (?:%{BASE10NUM})
BASE16NUM (?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT \b(?<![0-9A-Fa-f.])(?:[+-]?(?:0x)?(?:(?:[0-9A-Fa-f]+(?:\.[0-9A-Fa-f]*)?)|(?:\.[0-9A-Fa-f]+)))\b

POSINT \b(?:[1-9][0-9]*)\b
NONNEGINT \b(?:[0-9]+)\b
WORD \b\w+\b
NOTSPACE \S+
SPACE \s*
DATA .*?
GREEDYDATA .*
QUOTEDSTRING (?>(?<!\\)(?>"(?>\\.|[^\\"]+)+"|""|(?>'(?>\\.|[^\\']+)+')|''|(?>`(?>\\.|[^\\`]+)+`)|``))
UUID [A-Fa-f0-9]{8}-(?:[A-Fa-f0-9]{4}-){3}[A-Fa-f0-9]{12}

# Networking
MAC (?:%{CISCOMAC}|%{WINDOWSMAC}|%{COMMONMAC})
CISCOMAC (?:(?:[A-Fa-f0-9]{4}\.){2}[A-Fa-f0-9]{4})
WINDOWSMAC (?:(?:[A-Fa-f0-9]{2}-){5}[A-Fa-f0-9]{2})
COMMONMAC (?:(?:[A-Fa-f0-9]{2}:){5}[A-Fa-f0-9]{2})
IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)?
IPV4 (?<![0-9])(?:(?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2}))(?![0-9])
IP (?:%{IPV6}|%{IPV4})
HOSTNAME \b(?:[0-9A-Za-z][0-9A-Za-z-]{0,62})(?:\.(?:[0-9A-Za-z][0-9A-Za-z-]{0,62}))*(\.?|\b)
HOST %{HOSTNAME}
IPORHOST (?:%{HOSTNAME}|%{IP})
HOSTPORT %{IPORHOST}:%{POSINT}

# paths
PATH (?:%{UNIXPATH}|%{WINPATH})
UNIXPATH (?>/(?>[\w_%!$@:.,-]+|\\.)*)+
TTY (?:/dev/(pts|tty([pq])?)(\w+)?/?(?:[0-9]+))
WINPATH (?>[A-Za-z]+:|\\)(?:\\[^\\?*]*)+
URIPROTO [A-Za-z]+(\+[A-Za-z+]+)?
URIHOST %{IPORHOST}(?::%{POSINT:port})?
# uripath comes loosely from RFC1738, but mostly from what Firefox
# doesn't turn into %XX
URIPATH (?:/[A-Za-z0-9$.+!*'(){},~:;=@#%_\-]*)+
#URIPARAM \?(?:[A-Za-z0-9]+(?:=(?:[^&]*))?(?:&(?:[A-Za-z0-9]+(?:=(?:[^&]*))?)?)*)?
URIPARAM \?[A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]]*
URIPATHPARAM %{URIPATH}(?:%{URIPARAM})?
URI %{URIPROTO}://(?:%{USER}(?::[^@]*)?@)?(?:%{URIHOST})?(?:%{URIPATHPARAM})?

# Months: January, Feb, 3, 03, 12, December
MONTH \b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?|Jul(?:y)?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\b
MONTHNUM (?:0?[1-9]|1[0-2])
MONTHNUM2 (?:0[1-9]|1[0-2])
MONTHDAY (?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])

# Days: Monday, Tue, Thu, etc...
DAY (?:Mon(?:day)?|Tue(?:sday)?|Wed(?:nesday)?|Thu(?:rsday)?|Fri(?:day)?|Sat(?:urday)?|Sun(?:day)?)

# Years?
YEAR (?>\d\d){1,2}
HOUR (?:2[0123]|[01]?[0-9])
MINUTE (?:[0-5][0-9])
# '60' is a leap second in most time standards and thus is valid.
SECOND (?:(?:[0-5]?[0-9]|60)(?:[:.,][0-9]+)?)
TIME (?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9])
# datestamp is YYYY/MM/DD-HH:MM:SS.UUUU (or something like it)
DATE_US %{MONTHNUM}[/-]%{MONTHDAY}[/-]%{YEAR}
DATE_EU %{MONTHDAY}[./-]%{MONTHNUM}[./-]%{YEAR}
ISO8601_TIMEZONE (?:Z|[+-]%{HOUR}(?::?%{MINUTE}))
ISO8601_SECOND (?:%{SECOND}|60)
TIMESTAMP_ISO8601 %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?
DATE %{DATE_US}|%{DATE_EU}
DATESTAMP %{DATE}[- ]%{TIME}
TZ (?:[PMCE][SD]T|UTC)
DATESTAMP_RFC822 %{DAY} %{MONTH} %{MONTHDAY} %{YEAR} %{TIME} %{TZ}
DATESTAMP_RFC2822 %{DAY}, %{MONTHDAY} %{MONTH} %{YEAR} %{TIME} %{ISO8601_TIMEZONE}
DATESTAMP_OTHER %{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{TZ} %{YEAR}
DATESTAMP_EVENTLOG %{YEAR}%{MONTHNUM2}%{MONTHDAY}%{HOUR}%{MINUTE}%{SECOND}

# Syslog Dates: Month Day HH:MM:SS
SYSLOGTIMESTAMP %{MONTH} +%{MONTHDAY} %{TIME}
PROG (?:[\w._/%-]+)
SYSLOGPROG %{PROG:program}(?:\[%{POSINT:pid}\])?
SYSLOGHOST %{IPORHOST}
SYSLOGFACILITY <%{NONNEGINT:facility}.%{NONNEGINT:priority}>
HTTPDATE %{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME} %{INT}

# Shortcuts
QS %{QUOTEDSTRING}

# Log formats
SYSLOGBASE %{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:
COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)
COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}

# Log Levels
LOGLEVEL ([Aa]lert|ALERT|[Tt]race|TRACE|[Dd]ebug|DEBUG|[Nn]otice|NOTICE|[Ii]nfo|INFO|[Ww]arn?(?:ing)?|WARN?(?:ING)?|[Ee]rr?(?:or)?|ERR?(?:OR)?|[Cc]rit?(?:ical)?|CRIT?(?:ICAL)?|[Ff]atal|FATAL|[Ss]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)

觉得有用的话点个赞 👍🏻 呗。
❤️❤️❤️本人水平有限，如有纰漏，欢迎各位大佬评论批评指正！😄😄😄

💘💘💘如果觉得这篇文对你有帮助的话，也请给个点赞、收藏下吧，非常感谢!👍 👍 👍

🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧！🌙🌙🌙

img

架构师日志平台ELKStack实践视频.zip
02-12
1.elk简介、ES安装.flv 2.es集群.flv 3-logstash快速入门.flv 4-logstash收集系统日志-file.flv 5-logstash收集java日志-codec.flv 6-kibana介绍.flv 7-logstash收集nginx访问日志-json.flv 8-logstash收集syslog...
ELKstack权威指南
02-03
《ELKstack权威指南》是一本深度探讨ELK（Elasticsearch、Logstash、Kibana）技术栈的专业书籍，旨在帮助读者全面理解和掌握这一强大的日志管理和分析工具集。ELKstack是大数据分析和实时日志处理领域的热门解决方案...
ElasticStack(ELK)从入门到实践.pdf
06-11
它由Elasticsearch、Logstash、Kibana和Beats这四个组件组成，分别承担不同功能。 首先，Elasticsearch是一个基于Lucene构建的开源搜索引擎，它具有水平可扩展性，能够存储大量数据，并提供全文搜索、结构化搜索和...
ELK Stack深入浅出.pptx
11-03
ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK Stack 在最近两年迅速崛起，成为...
ELKstack+中文指南Chinese
08-23
ELKstack，全称为Elasticsearch、Logstash和Kibana的组合，是大数据日志分析领域中的一个流行工具栈。这个中文指南旨在为用户提供一套完整的中文教程，帮助他们理解和掌握这三个组件的功能与使用方法。 **Elastic...
ELKstack 中文指南
02-23
ELK Stack是Elasticsearch、Logstash和Kibana的简称，它们通常一起工作，形成一个强大的日志分析平台。ELK Stack中文指南详细介绍了从ELK Stack的基础安装到高级功能应用的全过程，是IT技术人员不可或缺的参考资料。...
最好用的日志分析工具ELK Stack
10-25
ELK Stack是由三个开源组件组成的：Elasticsearch、Logstash 和 Kibana。它们各自承担着不同的职责： - **Elasticsearch**：提供了一个分布式、可扩展的搜索引擎。它能够快速地索引和检索大量的数据，非常适合用来...
大数据搜索与日志挖掘及可视化方案 ELK Stack Elasticsearch Logstash Kibana 第2版
04-24
《大数据搜索与日志挖掘及可视化方案：ELK Stack（Elasticsearch, Logstash, Kibana）第二版》 在大数据领域，有效地管理和分析海量数据是至关重要的。ELK Stack，即Elasticsearch、Logstash和Kibana的组合，提供了...
ELK Stack高级实战培训
09-21
- **索引原理**: Elasticsearch基于Lucene构建，通过将数据存储为倒排索引结构实现高效检索。每个索引由多个段组成，这些段是不可变的，存储在磁盘上。 - **段(Segment)**: Lucene中最小的可搜索单元。 - **Commit...
Learning ELK Stack
04-18
1. **Elasticsearch**：作为ELK Stack的核心组件，Elasticsearch 是一个分布式搜索和分析引擎，它能够快速地处理大量数据并提供高效的搜索功能。Elasticsearch 的灵活性使其成为处理大规模日志数据的理想选择。 2....
【高清】ELKstack 中文指南
02-27
这个“【高清】ELKstack 中文指南”应该会提供关于如何使用和配置ELK Stack的详细指导，适合初学者和有经验的IT专业人员。 **Elasticsearch** 是ELK Stack的核心，是一个分布式、RESTful风格的搜索和数据分析引擎。...
ELK高级搜索_ElasticStack技术栈视频教程
04-18
是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es...
12.ELKStack日志平台实践.txt
12-03
**ELK Stack**，现称为**Elastic Stack**，是由Elasticsearch、Logstash、Kibana以及Beats等组件组成的开源日志分析系统。这套系统能够收集、存储、搜索、分析、展示来自各种来源的日志数据。 1. **Elasticsearch**...
Vant 按需引入导致 Typescript，eslint 报错问题
qq_40147756的博客
09-11 528
Vant 按需引入导致 Typescript，eslint 报错问题
vue vueUse利用useInfiniteScroll API 实现虚拟滚动
最新发布
小白小白从不日别的博客
09-14 308
开始使用 | VueUse 中文网VueUse元素的无限滚动。详细解析地址。
Git常用命令与基本操作（包括搭建git环境）
weixin_56520780的博客
09-11 920
git checkout -- 在git add之前，把工作区的代码用版本库中的代码覆盖掉，注意命令中的--不能 去掉，否则成切换分支的命令了。创建本地分支并指定追踪哪个远程分支：git checkout -b <本地分支名> <远程仓库名>/<远程分支 名>设置已经存在的本地分支追踪哪个远程分支：git branch -u <远程仓库名>/<远程分支名>本地分支推送到远程分支：git push <远程仓库名> <本地分支名>:<远程分支名>git push -f 强制推送本地仓库代码到远程仓库。
ElasticSearch底层原理解析
qq_56438516的博客
09-11 564
Elasticsearch通过其分布式架构，提供了一个强大、灵活且可扩展的搜索解决方案。它的设计哲学是简单性和易用性，同时隐藏了底层Lucene的复杂性。通过分片和副本机制，ES能够处理大规模数据集，并提供快速、准确的搜索结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Kwan的解忧杂货铺@新空间代码工作室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值