Spring Boot搭建 ELK，这才是正确看日志的方式

最新推荐文章于 2024-07-02 17:33:14 发布

java领域

最新推荐文章于 2024-07-02 17:33:14 发布

阅读量999

点赞数

文章标签： spring boot elk elasticsearch 后端面试

本文链接：https://blog.csdn.net/javalingyu/article/details/125004436

版权

本文介绍了如何使用ELK(Elasticsearch, Logstash, Kibana)搭建日志管理系统，特别是在Spring Boot应用中。文章详细阐述了每个组件的安装配置过程，包括Mac和Linux环境的差异，以及遇到的启动问题和解决方案，如权限错误和虚拟内存调整。最后，作者分享了在Kibana中添加索引和可视化图表的步骤，鼓励读者深入学习并实践。" 108309584,9039832,Rust-Vmm实现Kubernetes安全容器运行时,"['容器技术', '安全容器', 'Kubernetes', 'Rust编程', '虚拟化']

摘要由CSDN通过智能技术生成

在看大型网站的中间件技术，对于Elasticsearch有点兴趣，所以将配置流程记录了一下。

为什么要用ELK

“
ELK实际上是三个工具，Elastricsearch + LogStash + Kibana，通过ELK，用来收集日志还有进行日志分析，最后通过可视化UI进行展示。一开始业务量比较小的时候，通过简单的SLF4J+Logger在服务器打印日志，通过grep进行简单查询，但是随着业务量增加，数据量也会不断增加，所以使用ELK可以进行大数量的日志收集和分析
”

简单画了一下架构图

在环境配置中，主要介绍Mac和linux配置，windows系统大致相同，当然，前提是大家都安装了JDK1.8及以上版本~

[root@VM_234_23_centos ~]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

“
注意
高版本的ELK同样需要高版本的JDK支持，本文配置的ELK版本是6.0+，所以需要的JDK版本不小于1.8
”

ElasticSearch

“
Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。
”

Mac安装和运行

安装：brew install elasticsearch
运行：elasticsearch

linux: 从Elasticsearch官方地址下载（也可以下载完，通过ftp之类的工具传上去），gz文件的话通过tar进行解压缩，然后进入bin目录下运行软件

[root@VM_234_23_centos app]# curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz
[root@VM_234_23_centos app]# tar -zxvf elasticsearch-6.2.4.tar.gz
[root@VM_234_23_centos app]# cd elasticsearch-6.2.4
[root@VM_234_23_centos elasticsearch-6.2.4]# ./bin/elasticsearch

“
注意
在Linux机器上，运行elasticsearch需要一个新的用户组，文章最后有Elastic在linux安装的踩坑记录
”

Logstash

“
Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（我们的存储库当然是 Elasticsearch。）-官方卖萌
”

1. 软件安装

Mac安装：

brew install logstash

linux安装：

[root@VM_234_23_centos app]# curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  137M  100  137M    0     0  5849k      0  0:00:24  0:00:24 --:--:-- 6597k
[root@VM_234_23_centos app]# tar -zxvf logstash-6.3.2.tar.gz

2. 修改配置文件