项目实战｜史上最简单的springboot 整合elk教程，实现日志收集（带视频哦）

最新推荐文章于 2024-09-24 08:54:10 发布
置顶 最新推荐文章于 2024-09-24 08:54:10 发布
阅读量5.6w 收藏 322
点赞数 163
分类专栏： 技术专栏 文章标签： java spring boot ELK elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34311210/article/details/113195996
版权

配套视频教程已经上传
整合ELK-实现日志收集（知乎）
整合ELK-实现日志收集（CSDN）

项目源码已上传至 https://gitee.com/yangleliu/learning.git，免费索取
微信搜一搜【AI码师】关注帅气的我，回复【干货领取】，领取2021最新面试资料一份

为了方便不太熟悉linux系统和docker的同学，特地优化下docker-compose的路径设置

【前言】

开发任务后，提交代码的那一刻，心情是自由自在……速度是八十迈……
在这里插入图片描述

以为接下来是游戏、逛GAI或暖烘烘的被窝。

然而，梦想何其丰满，现实何其骨干。

总有测试小姐姐教你紧急刹车，回头做（改）人（bug）：AI大师，你这不行啊！（吃瓜群众排排坐，笑歪了嘴）

我低头看了看自己的八块腹肌：行不行可不是你说了算！

小姐姐也不是吃素的，撸起袖子，打开她的联想十代：你行你连连报错，毒奶队友！

我：(⊙o⊙)…原来你说的是这个不行，我还以为……

小姐姐一脸疑惑：以为什么？真以为自己是大神了！

我清咳掉自己的尴尬，绝不认输：我认为是你传错了参数。毕竟本大师在本地调试时可没有任何问题。

小姐姐久经沙场，从无败绩：不！可！能！是你是你就是你！我从来不会错。

那一刻，我仿佛看到生理期的女朋友在面前闪现，内心是崩溃的。
在这里插入图片描述

我们俩就这样争执了很久，最后自然不出意料，缴械投降的还是我。

毕竟——

中华民族的传统美（糟）德（粕）是：好男不跟女斗！

于是我只能去服务器上看看日志，但是日志内容累累如高山，多多如牛毛，足足3.5个g，无奈的我只好使用一堆linux骚命令，将文件切割成一个个小文件，好在最后终于找到了那次请求，排查后找到了原因。
在这里插入图片描述

通过这件事，我痛定思痛：如果有一个平台能实时收集我们的日志，并能以可视化的界面呈现出来，那该多好啊！这样我们就再也不用在那堆厚重的日志文件里面找数据了。

【秘籍展示】

其实，这种神奇的平台早就有了，那就是ELK，它是三大神兽Elasticsearch（搜索引擎）, Logstash（日志收集）, Kibana（可视化的web界面）的组合：
我们来看下架构图：

在这里插入图片描述

对照架构图，我们来看下这三大神兽的工作过程

  1. 用户发送请求到我们的服务端
  2. 服务端将需要落日志的数据通过网络请求传送到logstash
  3. logstash对数据进行过滤清洗后，再传给Elasticsearch
  4. Elasticsearch 负责对数据创建索引，进行存储
  5. 用户通过访问kibana的web页面，能够实时查看日志

好吧，秘籍都告诉你了，现在需要带领你们去实战了

【必备心法】

在打仗之前，我们需要士兵们必须具备以下技能，不然上了战场后，只会被虐的体无完肤

  • 了解elk三大组件
  • 有实操过docker
  • 本地有docker环境
  • IDEA工具
  • 配置相对高一点的武器（电脑），不然会崩溃的

【准备粮草】 准备一个Springboot项目

首先创建一个springboot项目，项目结构如下

在这里插入图片描述

引入项目必备依赖

  <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.35</version>
        </dependency>
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.4.0</version>
        </dependency>

创建一些基础组件

在这里插入图片描述

创建切面，实现低耦合记录日志

核心代码

    // 使用环绕通知
  @Around("controllerLog()")
  public Object doAround(ProceedingJoinPoint joinPoint) throws Throwable {
    long startTime = System.currentTimeMillis();
    // 获取当前请求对象
    ServletRequestAttributes attributes =
        (ServletRequestAttributes) RequestContextHolder.getRequestAttributes();
    HttpServletRequest request = attributes.getRequest();
    // 记录请求信息
    ReqRspLog webLog = new ReqRspLog();
    Object result = joinPoint.proceed();
    Signature signature = joinPoint.getSignature();
    MethodSignature methodSignature = (MethodSignature) signature;
    Method method = methodSignature.getMethod();
    // 通过反射，获取入参和出参，封装成json,落日志
    long endTime = System.currentTimeMillis();
    String urlStr = request.getRequestURL().toString();
    webLog.setBasePath(StrUtil.removeSuffix(urlStr, URLUtil.url(urlStr).getPath()));
    webLog.setIp(request.getRemoteUser());
    webLog.setMethod(request.getMethod());
    webLog.setParameter(getParameter(method, joinPoint.getArgs()));
    webLog.setResult(result);
    webLog.setSpendTime((int) (endTime - startTime));
    webLog.setStartTime(startTime);
    webLog.setUri(request.getRequestURI());
    webLog.setUrl(request.getRequestURL().toString());
    logger.info("{}", JSONUtil.parse(webLog));
    return result;
  }

创建测试接口

@RestController
@RequestMapping("/api")
public class ApiController {
    @GetMapping
    public R<String> addLog(@RequestParam(value = "param1",required = false) String param1){
        return R.success("你好，这段话将被日志记录");
    }
}

我们现在请求一下接口，会发现在控制台打印出 这样一段日志

{"method":"GET","uri":"/api","url":"http://localhost:8080/api","result":{"code":200,"data":"你好，这段话将被日志记录","message":"操作成功"},"basePath":"http://localhost:8080","parameter":{"param1":"测试ELK"},"startTime":1611529379353,"spendTime":9}

使用切面，实现日志记录并打印到控制台上已经完成了，现在我们按照架构图，需要通过logstash把日志发送到es里面，接下来整合logstash实现传送日志的功能

【招兵买马】 整合Logstash

添加logstash依赖

 <!--集成logstash-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>5.3</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

编辑配置文件logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
    <!--应用名称-->
    <property name="APP_NAME" value="mall-admin"/>
    <!--日志文件保存路径-->
    <property name="LOG_FILE_PATH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}/logs}"/>
    <contextName>${APP_NAME}</contextName>
    <!--每天记录日志到文件appender-->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_FILE_PATH}/${APP_NAME}-%d{yyyy-MM-dd}.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>${FILE_LOG_PATTERN}</pattern>
        </encoder>
    </appender>
    <!--输出到logstash的appender-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>127.0.0.1:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
    </appender>
    <root level="info">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="LOGSTASH"/>
    </root>
</configuration>

编辑完之后，项目结构是这样的：
在这里插入图片描述

虽然在项目中已经集成了logstash功能，但是logstash还不知道把日志往哪里发，因为我们还没有城池。

既然没有，那就建造吧！

【搭建城池】 搭建ELK环境

ELK这里我使用dokcer-compose搭建，一个字：快！
首先我们约定一个根目录：/user/aimashi/docker
按要求执行如下命令

mkdir -p /root/docker
cd /root/docker
mkdir elk_stanrd
cd elk_stanrd
mkdir logstash
cd logstash
vim logstash.conf

将以下文件内容复制到logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}

output {
  elasticsearch {
    hosts => "es:9200"
    index => "logstash-service-%{+YYYY.MM.dd}"
  }
}

继续执行如下命令

cd ../
vim docker-compose.yml

同样将以下内容复制到配置文件中

version: '3'
services:
  elasticsearch:
    image: elasticsearch:6.4.0
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
    volumes:
      - /root/docker/elk_stanrd/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /root/docker/elk_stanrd/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
      - 9300:9300
  kibana:
    image: kibana:6.4.0
    container_name: kibana
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
    ports:
      - 5601:5601
  logstash:
    image: logstash:6.4.0
    container_name: logstash
    volumes:
      - /root/docker/elk_stanrd/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    ports:
      - 4560:4560

到目前为止，搭建elk环境的准备工作已经完成。
现在需要启动elk，在/Users/yangle/docker/elk_stanrd目录下执行如下命令

docker-compose up -d

执行之后出现如下提示，则代表初创建成功
在这里插入图片描述

接下来，我们执行docker ps 来查看容器是否启动
在这里插入图片描述

如果和图中一样，代表容器正常启动，但是还需等待一分钟左右，才能访问可视化平台
访问地址 http://localhost:5601/
在这里插入图片描述

如果出现这个页面，则代表elk已经搭建完成，现在，我们需要往里面塞点数据

【发起进攻】 发送请求

elk环境搭建完成之后，需要产生一点数据。该怎么做呢？
只要调用 http://localhost:8080/api?param1=测试ELK 接口，多调用几次，就会产生一些测试数据。
除此之外，还需要做一些配置才能让es去收集这些日志，用户才能看到：
在这里插入图片描述

在这里插入图片描述

选择字段，创建索引
在这里插入图片描述

成功创建索引之后的界面
在这里插入图片描述
在这里插入图片描述

选择logstash-servicez之后，界面是这样的：
在这里插入图片描述

可以看到系统中的日志已经被收集上来了，试下搜索“你好”
在这里插入图片描述

所有包含“你好”的日志都被筛选出来，当然这里还可以有很多检索条件，例如右上角有一个时间过滤检索，我就不一一演示了，大家有兴趣的话可以自己研究下。
仓库：https://gitee.com/yangleliu/learning.git
乐于助人、大公无私的五好青年——我已将以上所有代码全部上传到git仓库中，大家自行获取，记得start啊

【战后总结】

每个新技术的出现，都是为了解决某一类问题。

就像elk的出现，就是为了减少日渐脱发的代码攻城狮们从海量日志中找数据的时间，节省出更多的精力放在业务处理上面。
有了elk，我们只需要在输入框中，轻松输入关键字，敲下回车，需要的数据就会呈现在我们面前。

测试小姐姐等待的时间短了，心情好了，矛盾自然也就少了。

如此想来，如果能有一个平台，将女友的十万个情绪爆发的原因实时展现出来，那世界将是多么美好的明天！

嘘~

如果大家感兴趣的话，可以给我点个赞哦，我将会更有动力为大家带来更好的实战文章，后面将会对这个日志系统进行优化，引入更加成熟的架构filebeat+kafka+logstash+Elasticsearch+kibana，敬请期待！

乐哥聊编程
关注
专栏目录
elk部署springboot
Chihirozy的博客
07-11 480
elk部署springboot。
Java学习路线图，全套Java基础视频教程
sebeefe的博客
08-01 1482
扎实的技术基础功+真实项目实战经验，才是好就业的关键。不止于此，黑马程序员帮助已就业学员继续提升！技术的提升永无止步，碎片时间学习进行各种技术强化以上Java学习路线图均有课程+源码+笔记+资料。更多提升课程访问底部，即可获取持续成长技能！...
bootelk:SpringBoot集成ELKB+Redis实现分布式实时日志系统实例
05-15
bootelk SpringBoot集成ELKB+Redis实现分布式实时日志系统实例
SpringBoot整合ELK实现日志收集
qq_32814555的博客
01-27 183
https://juejin.cn/post/6844904008499331079,这里注意可能elasticsearch启动的时候可能会报错,可能是elasticsearch的data文件访问权限问题.具体执行chmod 777 宿主机的elasticsearch的data路径.可以解决.第二个问题是在logstash中安装json_lines插件,老外已经不维护json_lines插件,我们可以安装另一个在维护的插件,参考https://blog.csdn.net/lzh253985690/arti.
SpringBoot整合ELK实现日志监控（保姆级教程）
最新发布
不惑
09-24 905
新建或修改application.yml 这个操作随意，可以不改端口号 创建日志配置文件 在项目的 resources 目录下创建 logback-spring.xml 文件，也就是日志输出配置文件SpringBoot默认的使用的日志，必须叫这个名字！！！ 创建一个测试类 启动项目 SpringBoot项目启动后，可以看到默认已经创建出索引文件 ​注意！！！一定要注意端口号的开放，配置好云服务器的安全组端口开放！！！​
springboot接入elk日志平台
落叶的博客
02-16 3233
文章目录1. ELK简介2. 应用架构图3. 项目配置 1. ELK简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana 。现在新增了一个轻量级的日志收集处理工具FileBeat，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 2. 应用架构图 springboot应用可以使用TCP连接将...
SpringBoot非官方教程 | 第二十六篇： sprinboot整合elk，搭建实时日志平台
baiyuting_hi的博客
12-05 595
版权声明：本文为博主原创文章，欢迎转载，转载请注明作者、原文超链接 ，博主地址：http://blog.csdn.net/forezp。 转载请标明出处：  http://blog.csdn.net/forezp/article/details/71189836  本文出自方志朋的博客 这篇文章主要介绍springboot整合elk. elk 简介
走进JavaWeb技术世界12：从手动编译打包到项目构建工具Maven
AliCoder的博客
11-04 759
本系列文章将整理到我在GitHub上的《Java面试指南》仓库，更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下Star哈 文章首发于我的个人博客： www.how2playlife.com 本文是微信公众号【Java技术江湖】的《走进JavaWeb技术世界》其中一篇，本文部分内容来源于网络，为了把本文主题...
java架构师进阶之路
henhenha的博客
03-30 4662
包含了计算机基础、算法和数据结构、常用工具、java核心知识、性能优化、基础框架、数据库、消息队列、缓存中间件、搜索引擎、大数据、RPC、网关、容器、面试等知识
Java基础入门：IDEA软件安装和软件初始化设置
Aa112233aA1的博客
03-14 1036
IDEA是一个专门针对Java的集成开发工具(IDE)，由Java语言编写。所以，需要有JRE运行环境并配置好环境变量。 它可以极大地提升我们的开发效率。可以自动编译，检查错误。在公司中，使用的就是IDEA进行开发。 此软件集成了32位和64位，双击 ideaIU-2017.3.2.exe 进入安装。 选择安装路径，修改路径到D盘，将软件安装到D盘也可以根据自己的需要更改安装路径，这里我选择了d盘，之后“next”进入下一步。 之后来配置安装选项，将64位启动程序安装到桌面。 开始菜单选择Instal
从0搭建后端技术涉及到哪些知识点？
weixin_51689029的博客
05-20 1462
从0搭建后端技术涉及到哪些知识点？从零开始搭建，在创业公司没有完善的基础设施，需要从开源界，从云服务商甚至有些需要自己去组合去拼装去开发一个适合自己的组件或系统以达成我们的目标。 大后台的概念放在服务器上的东西都属于后台的东西，比如使用的框架，语言，数据库，服务，操作系统等等。 整个后台技术栈我的理解包括 4 个层面的内容： 语言：用了哪些开发语言，如：C++/Java/Go/PHP/Python/Ruby 等等； 组件：用了哪些组件，如：MQ 组件，数据库组件等等； 流程：怎样的流程和规范，如：开发流程，
springboot整合elk(windows版)-springboot-elk.zip
09-23
springboot整合elk(windows版).该资源包含：一个完整的demo,elasticsearch-6.8.1压缩包，logstash-6.3.0压缩包，kibana-6.8.1压缩包。详情部署操作说明：https://blog.csdn.net/dayonglove2018/article/details/108660953
SpringBoot项目ELK搭建（基于Docker，DockerCompose， Centos7）
wskfly的博客
09-08 506
ELK个服务的作用 Elasticsearch:用于存储收集到的日志信息； Logstash:用于收集日志，SpringBoot应用整合了Logstash以后会把日志发送给Logstash,Logstash再把日志转发给Elasticsearch； Kibana:通过Web端的可视化界面来查看日志。 下载镜像 docker pull elasticsearch:6.4.0 docker pull logstash:6.4.0 docker pull kibana:6.4.0 logstash配置.
Spring boot整合ELK
m0_57836225的博客
07-23 976
您只需在服务器上安装和配置好 Kibana，并将其连接到相同的 Elasticsearch 实例，就可以通过 Kibana 创建仪表板、搜索和分析数据了。ELK 堆栈通常用于集中式日志管理、实时数据分析、监控系统性能等场景，帮助用户快速有效地处理和理解大量的结构化和非结构化数据。ELK 是三个开源软件的组合，分别是：Elasticsearch、Logstash 和 Kibana 存数据 取数据 看数据。在您的日志记录逻辑中，获取日志数据，并使用上面创建的客户端将数据发送到 Elasticsearch。
ELK 处理 Spring Boot 日志，妙啊！
民工哥的博客
03-29 232
点击关注公众号，Java干货及时送达????在排查线上异常的过程中，查询日志总是必不可缺的一部分。现今大多采用的微服务架构，日志被分散在不同的机器上，使得日志的查询变得异常困难。工欲善其事，必先利其器。如果此时有一个统一的实时日志分析平台，那可谓是雪中送碳，必定能够提高我们排查线上问题的效率。本文带您了解一下开源的实时日志分析平台 ELK 的搭建及使用。ELK 简介ELK 是一个开源的实时日志分析平台，...
springboot集成Elk做日志系统
qq_43547991的博客
12-25 2548
ELK是三个开源软件的缩写，分别表示：elasticsearch、logstash、kibanaElasticsearch、Logstash、Kibana作用：Elasticsearch: 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 ，用于存储日志信息Logstash: 日志收集，springboot利用Logstash把日志发送个Logstash，然后Logstash将日志传递给Elasticsearch。
springboot整合ELK实现日志收集
weixin_45111741的博客
10-10 1551
文章目录1.什么是ELK？2.需要准备的环境2.1Docker环境安装2.2Docker Compose环境安装2.3获取Elasticsearch，logstash，kibana的镜像2.4部署前准备Elasticsearch配置Logstash配置2.5使用docker-compose.yml脚本启动ELK服务3.部署Elasticsearch，Logstash，Kibana3.1elasticsearch需要安装中文分词器IKAnalyzer3.2在logstash中安装json_lines插件4.s
Window下单机ELK搭建入门并与Spring Boot项目整合
HJWZYY
09-20 803
ELK是一款非常流行的日志分析系统，在微服务架构中，我们可以使用ELK来跟踪分析各个微服务的日志，从而来了解服务的运行情况。 ELK是由三个开源工具搭建而成一个系统，分别是： ElasticSearch: ES是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash：一个完全开源的工具，可...
评论 304
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乐哥聊编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值