Springboot+logback集成ELK处理日志实例

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/yy756127197/article/details/78873310

一. 背景

ELK官网

最近把我们的项目从cloud foundry迁移到了K8S,但是公司的容器系统才出现没多久,还不是很成熟,所以我们就用了公司的K8S集群,其他的自己去搞下,日志就是一个很大的问题,容器内部的日志真不是给人看的。调研了下,主流还是elk。正好项目中的全文检索使用的elasticsearch,另外在集成logstash+kibana就可以了。elk的安装教程,自行百度,注意版本依赖问题。(elasticsearch 2.*和5.0以上差别很大)
我用的是直接读取控制台输出的方式,也可以用读取文件的方式,不过个人觉得对于docker来说,直接读取输出比较方便

架构图:
这里写图片描述
有很多方案:
这里演示的是最简单的一种,生产中最好加上filebeat收集,再加上redis或kafka做个缓冲、
(后续文章会加上)

步骤:
1. 修改项目
2. 配置logstash
3. 配置kinaba

二. 修改项目

添加pom

        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>4.9</version>
        </dependency>

修改logback配置

   <!-- 开发环境. 多个环境使用逗号隔开. -->
   <!-- 不同的环境使用不同的配置 使用springProfile -->
    <springProfile name="dev">

     <appender name="LOGSTASH"
        class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>localhost:9601</destination>
        <!-- encoder必须配置,有多种可选 -->
        <encoder charset="UTF-8"
            class="net.logstash.logback.encoder.LogstashEncoder" >
            <!-- "appname":"yang_test" 的作用是指定创建索引的名字时用,并且在生成的文档中会多了这个字段  -->
             <customFields>{"appname":"yang_test"}</customFields>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
    </root>

    </springProfile>

也就是添加个输出地方,输出到localhost:9601,这个是logstash开放的端口,自己根据自己的机器设定

以上就是项目要改动地方了,是不是很容易。

三. 配置logstash

下载地址:官网
1. 添加配置std_std_es.conf

input {
    tcp {  
    ##host:port就是上面appender中的 destination,这里其实把logstash作为服务,开启9601端口接收logback发出的消息  
        host => "localhost"  
        port => 9601  
    #模式选择为server  
        mode => "server"  
        tags => ["tags"]  

    ##格式json  
        codec => json_lines         
    }  

} 

output {
        elasticsearch {
        #ES地址
                hosts => "127.0.0.1:9200"
        #指定索引名字,不适用默认的,用来区分各个项目
                index => "%{[appname]}-%{+YYYY.MM.dd}"
        }
        stdout { codec => rubydebug}
}

注意:yaml中不要用TAB,用空格,不然启动会报错

2. 启动logstash

#进去logstash的bin
logstash -f std_std_es.conf

四. 配置kinaba

下载地址:官网
1. 修改配置kibana.yml

#名
server.name: "hero-kibana"

#ES地址
elasticsearch.url: "http://localhost:9200/"

2. 启动

Run bin/kibana (or bin\kibana.bat on Windows)

3. 配置logstash
logstash默认的索引就是logstash-*
这里写图片描述

五. 测试

1. 测试代码

@RunWith(SpringRunner.class)
@SpringBootTest
public class Test {
    // 定义一个全局的记录器,通过LoggerFactory获取
    private final static Logger log = LoggerFactory.getLogger(Test.class);

    @Before
    public void setUp() {
    }
    @org.junit.Test
    public void test() {
        log.trace("trace 成功了");
        log.debug("debug 成功了");
        log.info("info 成功了");
        log.warn("warn 成功了");
        log.error("error 成功了");
    }
}

执行后logstash的终端
这里写图片描述

查看kibana
这里写图片描述

右上角可以设置时间,自动刷新间隔等
KIBANA具体怎么玩,点点就会啦~


到此结束啦,有很多地方需要去优化,不定期更新~~~~

展开阅读全文

没有更多推荐了,返回首页