通过docker-compose部署elk日志系统，并使用springboot整合

已于 2023-11-09 16:57:41 修改
阅读量1.6k 收藏 1
点赞数 29
分类专栏： springboot docker 文章标签： docker elk spring boot
于 2023-11-09 15:18:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44808225/article/details/134311675
版权

ELK是一种强大的分布式日志管理解决方案，它由三个核心组件组成：

  1. Elasticsearch：作为分布式搜索和分析引擎，Elasticsearch能够快速地存储、搜索和分析大量的日志数据，帮助用户轻松地找到所需的信息。

  2. Logstash：作为数据处理管道，Logstash能够从各种来源收集日志数据，并进行过滤、转换和发送到Elasticsearch等目标存储中。

  3. Kibana：作为Web界面，Kibana能够帮助用户可视化和分析日志数据，创建仪表板和报表，以便更好地理解和监控业务中的日志信息。

ELK能够帮助业务实现日志数据的集中管理、快速搜索和分析，从而提高故障排查的效率，优化系统性能，以及发现潜在的安全威胁。通过ELK，业务可以更好地利用日志数据来支持决策和监控业务运营。

下面，本文会介绍ELK的安装以及使用

 搭建ELK

准备docker-compose.yml

version: '3'
services:
  elasticsearch:
    image: elasticsearch:6.4.0
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m" #设置使用jvm内存大小
    volumes:
      - /mnt/data3/dockerfiles/elk2/elk_stanrd/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /mnt/data3/dockerfiles/elk2/elk_stanrd/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
      - 9300:9300
  kibana:
    image: kibana:6.4.0
    container_name: kibana
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
    ports:
      - 5601:5601
  logstash:
    image: logstash:6.4.0
    container_name: logstash
    volumes:
      - /mnt/data3/dockerfiles/elk2/elk_stanrd/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    ports:
      - 4560:4560

logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}

output {

  if "java" in [tags] {
    elasticsearch {
      hosts => "es:9200"
      index => "java-logs-%{+YYYY.MM.dd}"
    }
  }


  if "python" in [tags] {
    elasticsearch {
      hosts => "es:9200"
      index => "python-logs-%{+YYYY.MM.dd}"
    }
  }
}

启动 

docker-compose up -d

开启kibana的端口

centos开启防火墙

 访问

ip：{你的端口：5601}

看到这样的界面，代表运行成功

配置索引

点击management--->kibana--->index patterns

 

 这里我会选择这一个，点击create index pattern创建

springboot整合ELK

配置maven

需要加入

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

打印日志的时候可以使用lombok或其他框架，但是注意一下之前使用log攻击的bug，尽量跳过这些版本，注意，低版本的springboot默认的日志库有问题。

配置文件

logging:
  config: ./config/logback-spring.xml

日志配置文件模板

<configuration>
    <!-- %m输出的信息, %p日志级别, %t线程名, %d日期, %c类的全名, %i索引 -->
    <!-- appender是configuration的子节点,是负责写日志的组件 -->
    <!-- ConsoleAppender把日志输出到控制台 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%date{yyyy-MM-dd HH:mm:ss} %highlight(%-5level) (%file:%line\)- %m%n</pattern>
            <!-- 控制台也要使用utf-8，不要使用gbk -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!-- RollingFileAppender:滚动记录文件，先将日志记录到指定文件，当符合某个条件时，将日志记录到其他文件 -->
    <!-- 1.先按日期存日志，日期变了，将前一天的日志文件名重命名为xxx%日期%索引，新的日志仍然是sys.log -->
    <!-- 2.如果日期没有变化，但是当前日志文件的大小超过1kb时，对当前日志进行分割 重名名 -->
    <appender name="syslog" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <File>log/ant-back.log</File>
        <!-- rollingPolicy:当发生滚动时，决定 RollingFileAppender 的行为，涉及文件移动和重命名。 -->
        <!-- TimeBasedRollingPolicy： 最常用的滚动策略，它根据时间来制定滚动策略，既负责滚动也负责出发滚动 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 活动文件的名字会根据fileNamePattern的值，每隔一段时间改变一次 -->
            <!-- 文件名：log/sys.2017-12-05.0.log -->
            <fileNamePattern>log/ant-back.%d.%i.log</fileNamePattern>
            <!-- 每产生一个日志文件，该日志文件的保存期限为120天 -->
            <maxHistory>120</maxHistory>
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <!-- maxFileSize:这是活动文件的大小，默认值是10MB,本篇设置为100MB -->
                <maxFileSize>100MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <encoder>
            <!-- pattern节点，用来设置日志的输入格式 -->
            <pattern>
                %d %p (%file:%line\)- %m%n
            </pattern>
            <!-- 记录日志的编码 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    <!-- 控制台日志输出级别 -->
    <!-- <root level="info">
         <appender-ref ref="STDOUT"/>
     </root>-->
    <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
    <!-- com.example.ant为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
    <!-- 级别依次为【从高到低】：FATAL > ERROR > WARN > INFO > DEBUG > TRACE  -->
    <!--<logger name="com.example.ant" level="FATAL">
        <appender-ref ref="syslog"/>
    </logger>-->




    <!-- 为logstash输出的JSON格式的Appender -->
    <appender name="logstash"
              class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>ip:4560</destination>
        <!-- 日志输出编码 -->
        <encoder
                class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
			    {
			            "tags": "java",
                        "thread": "%thread",
                        "logLevel": "%level",
                        "message": "%message",
                        "class": "%logger{40}",
                        "serviceName": "asr_hot_word",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}"

                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

    <!-- 日志输出级别 -->
    <root level="INFO">
        <appender-ref ref="STDOUT"/>
        <appender-ref ref="logstash" />
    </root>

</configuration>

配置好启动，点击discovery即可查看日志信息

[奸笑]这个不是斜眼笑[奸笑]
关注
  • 29
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Docker-compose 建立ELK集群的实现方法
01-20
全部编排文件和配置文件可以访问我的 Github ，大家只要修改配置文件中的路径即可快速搭建一个3实例的ES集群和一个Kibana实例。 规划 计划创建3个ES实例组成一个集群，同时创建一个Kibana实例连接该集群。每个ES实例使用本地配置文件，方便配置文件的保存和版本管理。Kibana的配置文件也放在本地，通过文件映射的方式挂载到容器内。 总的目录结构如下： $ tree . ├── docker-compose.yml ├── kibana.yml ├── node1 │ └── es1.yml ├── node2 │ └── es2.yml └── node3 └── es3.y
Centos7 docker-compose安装ELK+Filebeat.zip
10-16
Centos7 docker-compose安装ELK+Filebeat.zip 存放这里，让大家下载快捷一点
ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
weixin_30483013的博客
10-12 236
http://baidu.blog.51cto.com/71938/1676798 http://www.tuicool.com/articles/YR7RRr 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存...
docker-compose和ELK配置文件.zip
07-30
docker集群ELK部署读取本地日志--配置文件；包含docker-compose集群化部署ELK的配置脚本和elasticsearch、kibana的配置文件、logstash解析日志的配置文件
Docker-compose部署ELK的示例代码
09-29
主要介绍了Docker-compose部署ELK的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
使用docker-compose快速搭建ELK
最新发布
海哥python的博客
01-12 888
ubuntu系统。
dockercompose搭建elk
qq_38899062的博客
08-02 6021
Elastic Stack简介 如果你没有听说过Elastic Stack，那你一定听说过ELK，实际上ELK是三款软件的简称，分别是Elasticsearch、 Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK是旧的称呼，Elastic Stack是新的名字。 全系的Elastic Stack技术栈包括： Elasticsearch ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用
Docker-Compose部署ELK
weixin_44359151的博客
03-04 2582
Docker-Compose部署ELK
docker-compose查看运行日志方法
m0_67392409的博客
08-14 608
代码】docker-compose查看运行日志方法。
docker-compose elk部署elk 单节点版本
凤凰涅槃而生
12-14 721
机器分配。
Docker - docker-compose安装ELK
stark张宇
05-21 2146
概述 使用的是docker-compose方法安装elk组件，对这部分的内容进行一个知识上的补充，在这里把之前的Docker文章拿出来做个学习的索引，以方便刚刚接触的同学，那让我们开始吧。 Docker 环境下部署高可用集群实践 Docker构建PHP7自定义Dev环境扩展教程 单独搭建部署应用服务(Nginx+Php+Mysql+Redis) Dockerfile、数据存储volume、网络通信 docker-compose 基本使用 启动服务 docker-compose up //启动 守护进程
docker集群ELK部署读取本地日志--（六）通过docker-compose部署ELK
qq_31093329的博客
07-30 560
1、目前日志总量不是很大，所以我只是通过docker-compose将ELK容器指定运行在一个节点，部署在了一台主机上面。可以按照需求将容器分别部署在三台主机上面、不过要注意相应的容器所需的物理卷的挂载位置也要在相对应的主机上面。 docker-compose.yml version: "3" services: elasticsearch: #服务name image: docker.elastic.co/elasticsearch/elasticsearch:6.8.6 #指...
【基于Docker-Compose安装ELK日志系统完整操作步骤】
weixin_43755251的博客
03-16 2488
本文主要介绍ELK日志收集分析平台的完整搭建步骤，博主才疏学浅，很多知识都不太懂，遇到的坑比较多，不过都能靠着坚定的意志，一步一步的把问题都解决了，希望这篇文章能给读者们带来帮助，让大家少走一些弯路。
【docker系列】dockercompose安装ELK并实现springboot日志分析
Think_and_work的博客
12-22 1558
参考文章： https://blog.csdn.net/weixin_34311210/article/details/113195996 https://www.jianshu.com/p/2d78ce6bc504 使用docker-compose安装elk 1、新建目录 mkdir -p /data/elk/{elasticsearch/data,logstash} #新建目录 2、编写docker-compose.yml 可以在data/elk目录中 version: '3' service
使用docker-compose部署elk
系统运维博客，分享实用的运维技巧、经验和解决方案。致力于帮助读者解决系统运维中的各种问题，提升运维效率。欢迎关注，共同学习进步！
12-19 769
使用Docker Compose部署ELK可以简化部署过程，可实现一键部署，不需要修改任何配置，提高可扩展性和灵活性，同时提供集中管理日志数据、快速搜索和分析等功能，对于业务运营和决策支持具有重要意义。
docker-compose 部署ELK
努力学习，努力爱你！
02-23 327
logback.xml 日志文件中引入。如有问题，欢迎指正！
docker-compose部署ELK
weixin_48562791的博客
04-17 4666
Docker部署ELK
Docker整合ELK+SpringBoot详解
qq_42670087的博客
12-01 976
本次是想通过docker搭建elk环境并整合springboot实现我们的一个日志分析的场景
ELK部署 (docker-compose方式)
hanguofei的博客
11-20 5437
ELK的部署方式有很多种，这里我介绍一种简单的部署方式：docker-compose 一、docker-compose.yml version: "3.2" services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.4.2 container_name: elast...
docker-compose部署elk
05-18
Docker-compose 部署 ELK（Elasticsearch、Logstash、Kibana）的步骤如下： 1. 创建一个目录，例如 elk，用于存放 docker-compose.yml 文件和其他配置文件。 2. 在 elk 目录下创建一个 docker-compose.yml 文件，内容如下： ``` version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2 container_name: elasticsearch environment: - discovery.type=single-node ports: - "920:920" - "930:930" volumes: - ./elasticsearch/data:/usr/share/elasticsearch/data networks: - elk logstash: image: docker.elastic.co/logstash/logstash:7.10.2 container_name: logstash volumes: - ./logstash/config:/usr/share/logstash/pipeline/ environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:920 ports: - "500:500" - "960:960" networks: - elk kibana: image: docker.elastic.co/kibana/kibana:7.10.2 container_name: kibana environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:920 ports: - "5601:5601" networks: - elk networks: elk: driver: bridge ``` 3. 在 elk 目录下创建一个 elasticsearch 目录，用于存放 Elasticsearch 的数据。 4. 在 elk 目录下创建一个 logstash 目录，用于存放 Logstash 的配置文件。 5. 在 logstash 目录下创建一个 logstash.conf 文件，用于配置 Logstash 的输入、过滤和输出，例如： ``` input { tcp { port => 500 codec => json } } filter { # 过滤器配置 } output { elasticsearch { hosts => ["http://elasticsearch:920"] index => "logstash-%{+YYYY.MM.dd}" } } ``` 6. 在 elk 目录下运行以下命令启动 ELK： ``` docker-compose up -d ``` 7. 访问 http://localhost:5601 即可打开 Kibana 界面，开始使用 ELK。 注意：在生产环境中，应该根据实际需求对 ELK 进行配置和优化，例如设置 Elasticsearch 的内存和磁盘限制、配置 Logstash 的过滤器和输出、使用安全证书等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值