springboot整合LogstashTcpSocketAppender日志保存到ELK

1:安装elasticsearch
2:安装kibana
3:安装logstash
  配置logstash springboot-logstash.conf文件如下:

  input {
      tcp {
        mode => "server"
        host => "127.0.0.1"
        port => 4560
        codec => json_lines
      }
    }
    output {
        elasticsearch {
        hosts => "127.0.0.1:9200"
        index => "springboot-prod-log-127.0.0.1-%{+YYYY.MM.dd}"
      }
    }


4:配置springboot logback日志

    <appender name="logStash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:4567</destination>
        <!-- 日志输出编码 -->
        <encoder charset="UTF-8"
                 class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "createTime": "%d{yyyy-MM-dd HH:mm:ss.SSS}",
                        "flag":"%X{flag}",
                        "logIp":"%X{ip}",
                        "msg":"%msg",
                        "cacheOpt":"%X{cacheOpt}",
                        "cacheValSize":"%X{cacheValSize}",
                        "className":"%X{className}",
                        "clientIp":"%X{clientIp}",
                        "clientType":"%X{clientType}",
                        "connCount":"%X{connCount}",
                        "costTime":"%X{costTime}",
                        "isErr":"%X{isErr}",
                        "errName":"%X{errName}",
                        "keyOrSql":"%X{keyOrSql}",
                        "methodName":"%X{methodName}",
                        "restUrl":"%X{restUrl}",
                        "step":"%X{step}",
                        "traceId" : "%X{X-B3-TraceId:-}",
                        "parentSpanId" : "%X{X-B3-ParentSpanId:-}",
                        "spanId" : "%X{X-B3-SpanId:-}",
                        "sysName": "${springAppName:-}",
                        "logLever": "%level",
                        "thread": "%thread",
                        "stack_trace": "%exception"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>


以上的方式是java项目直接把日记写到logstash,还有一种是通过logstash去日志的具体路径采集,不过logstash相对filebeat需要很多内存,故这种方案是简单方法,
从长远来看,建议采用filebeat+elk(系统做大了可以采用kafka,可以参考这篇文章:https://blog.csdn.net/ffyyhh995511/article/details/103721376

 

  • 8
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spring Boot可以很容易地集成ElasticSearch作为日志存储,然后使用Logstash日志从Spring Boot应用程序传输到ElasticSearch,最后可以使用Kibana进行数据可视化。 以下是实现Spring Boot整合ELK的基本步骤: 1. 安装ElasticSearch,Logstash和Kibana。 2. 当Spring Boot应用程序运行时,将日志记录到文件中。 3. 使用Logstash配置文件来监控日志文件,并将数据发送到ElasticSearch。 4. 在Kibana中创建一个索引模式来解析ElasticSearch中的数据。 5. 创建仪表板和可视化,以显示日志数据。 下面是一个简单的Logstash配置文件,将日志文件发送到ElasticSearch: ``` input { file { path => "/path/to/spring-boot-app.log" sincedb_path => "/dev/null" start_position => "beginning" } } filter { grok { match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} \[%{DATA:thread}\] %{DATA:class} - %{GREEDYDATA:logmessage}" } } } output { elasticsearch { hosts => [ "localhost:9200" ] index => "spring-boot-app-logs-%{+YYYY.MM.dd}" } stdout { codec => rubydebug } } ``` 这个配置文件使用Grok来解析日志文件中的日志条目,并将其发送到ElasticSearch中的名为“spring-boot-app-logs”索引的索引中。stdout输出是可选的,它允许将数据输出到控制台进行调试。 在使用Logstash转发日志数据之前,确保运行ElasticSearch和Kibana,并且ElasticSearch集群和索引模式已经设置好。在Kibana中,您可以通过“索引模式”页面创建新的索引模式。在这个页面上,您需要指定ElasticSearch索引的名称模式,并为每个字段定义Type。 创建模式后,您可以使用可视化编辑器创建仪表板和可视化,以显示日志数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值