logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引

那么问题来了 不能每个小应用都配置一个 logstash 服务来传输日志吧,把所有的日志都 输送到一个logstash里面  然后logstash会都输送到一个索引下(之前不知道怎么配),输送到同一个所以下 那么问题又来了,首先每个小服务程序日志量不大希望持续监控,也不需要用时间来分割(因为日志量不大),又希望查询方便(不要告诉我查询的时候多一个筛选条件就可以了,俺就是不想那样嫌乱不好找)。所有有了下面的解决方案

 

首先本人用的日志框架是logback,使用

     <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>4.11</version>
        </dependency>

这个包进行 socket向lostash进行日志输送

以下为重点

首先通读上面pom文件依赖的开源包文档net.logstash.logback,连接地址为:https://github.com/logstash/logstash-logback-encoder

看完之后马上回来,就会明白我下面说的

首先配置logback.xml日志

复制代码
<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">
    <include resource="org/springframework/boot/logging/logback/base.xml" />
    <!-- <jmxConfigurator/> -->
    <contextName>logback</contextName>

    <property name="log.path" value="E:\\123456\\logback.log" />

    <property name="log.pattern"
        value="%d{yyyy-MM-dd HH:mm:ss.SSS} -%5p ${PID} --- [%15.15t] %-40.40logger{39} : %m%n" />

    
    <appender name="file"
        class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}</file>

        <encoder>
            <pattern>${log.pattern}</pattern>
        </encoder>

        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

            <fileNamePattern>info-%d{yyyy-MM-dd}-%i.log
            </fileNamePattern>

            <timeBasedFileNamingAndTriggeringPolicy
                class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">

                <maxFileSize>10MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
            <maxHistory>10</maxHistory>
        </rollingPolicy>
    </appender>

    
    <!-- 上传到那个服务器接口 -->
<appender name="api-logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>10.10.129.35:4569</destination>
  <!-- <destination>destination1.domain.com:4560</destination> 
        <destination>destination2.domain.com:4560</destination> 
        <destination>destination3.domain.com:4560</destination> -->
<!-- encoder必须配置,有多种可选 --> <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"> <customFields>{"appname":"myapp"}</customFields> </encoder>  <keepAliveDuration>5 minutes</keepAliveDuration>  </appender>

    <!-- 异步写入日志 -->
    <appender name="api-async" class="ch.qos.logback.classic.AsyncAppender">        
        <appender-ref ref="api-logstash"/>        
        <queueSize>8192</queueSize>        
        <discardingThreshold>0</discardingThreshold>    
    </appender>
      
    <!-- 指定监控那个日志类 -->
    <logger name="cn.com.pg.sso.monitor.MonitorInterceptor" level="INFO">       
        <appender-ref ref="api-async"/>    
    </logger>
</configuration>

哦忘了解释一下

<keepAliveDuration>5 minutes</keepAliveDuration> 

这个配置是 向logstash输出日志如果有多个logstash IP或端口可以轮询负载各端口

阅读更多
文章标签: 日志监控
上一篇Maven的排除依赖、归类依赖、优化依赖
下一篇ELK基础环境搭建-kibana配置分布式日志系统
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭