logback将日志传输到 logstash然后在kibana展示

最新推荐文章于 2024-08-10 08:39:43 发布
最新推荐文章于 2024-08-10 08:39:43 发布
阅读量5.2k 收藏 8
点赞数
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1010267837/article/details/90730474
版权

场景一：

  生产环境因集群，无法快速定位日志，以下配置可在kibana可视化界面查看系统日志

系统报如下日志

在kibana搜索

实现步骤

 

一）application.properties文件新增配置

#logstash服务器地址
logstash.host=10.86.210.18
#logstash端口
logstash.port=8084

二）引入pom文件

<dependency>
	<groupId>net.logstash.logback</groupId>
	<artifactId>logstash-logback-encoder</artifactId>
	<version>5.3</version>
</dependency>

<dependency>
	<groupId>net.logstash.log4j</groupId>
	<artifactId>jsonevent-layout</artifactId>
	<version>1.6</version>
</dependency>
<dependency>
    <groupId>ch.qos.logback</groupId>
    <artifactId>logback-classic</artifactId>
    <version>1.1.8</version>
</dependency>

如果出现如下错误：
ERROR in ch.qos.logback.core.joran.action.NestedBasicPropertyIA - Unexpected aggregationType AS_BASIC_PROPERTY_COLLECTION
      将ch.qos.logback 包更改为如下

<dependency>
   <groupId>ch.qos.logback</groupId>
   <artifactId>logback-classic</artifactId>
   <exclusions>
      <exclusion>
         <groupId>ch.qos.logback</groupId>
         <artifactId>logback-core</artifactId>
      </exclusion>
   </exclusions>
   <version>1.1.8</version>
</dependency>
<dependency>
   <groupId>ch.qos.logback</groupId>
   <artifactId>logback-core</artifactId>
   <version>1.1.8</version>
</dependency>

三）实现获取ip方法

import ch.qos.logback.classic.pattern.ClassicConverter;
import ch.qos.logback.classic.spi.ILoggingEvent;
public class LogIpConfig extends ClassicConverter {
    @Override
    public String convert(ILoggingEvent iLoggingEvent) {

        return DataServerUtil.getLocalHost();
    }
}

四）xml配置

在resource新建logback-spring.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <property resource="application.properties" />
    <!--服务器ip获取方法配置-->
    <conversionRule conversionWord="ip" converterClass="cn.evun.geely.dataserver.gds.utils.LogIpConfig" />
    <include resource="default.xml" />

</configuration>

在resource新建default.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<included>

	<!-- 将日志打印到控制台 -->
    <appender name="PROJECT-CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern> %d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

	<!-- 将日志写入到文件配置 -->
    <appender name="PROJECT-FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${logging.path}/application.log</file>
        <encoder >
            <pattern>"host": "%ip" %d{HH:mm:ss.SSS} %-5level [%thread] %logger{32}[%file:%line] -&gt; %msg%n</pattern>
            <charset class="java.nio.charset.Charset">UTF-8</charset>
        </encoder>
		<!--配置备份 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${logging.path}/application.log.%d{yyyy-MM-dd}.log.gz</fileNamePattern>
            <maxHistory>7</maxHistory>
        </rollingPolicy>
    </appender>

	<!-- logback 和 logstash 通讯配置 -->
    <appender name="SOCKET" class="net.logstash.logback.appender.LogstashSocketAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <host>${logstash.host}</host>
        <port>${logstash.port}</port>
    </appender>

    <!-- logstash远程日志配置-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>${logstash.host}:${logstash.port}</destination>
		<!--输出打印json格式-->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <pattern>
                    <pattern>
                        <!--输出日志可自定义，可根据自己需要配置-->
                        {
                        <!--es索引名称 -->
                        "indexname":"test_logstash",
                        <!--应用名称 -->
                        "appname":"${spring.application.name}",
                        <!--服务器ip -->
                        "host": "%ip",
                        <!--应用端口 -->
                        "port": "${spring.application.index}",
                        <!--打印时间 -->
                        "timestamp": "%d{yyyy-MM-dd HH:mm:ss.SSS}",
                        <!--线程名称 -->
                        "thread": "%thread",
                        <!--日志级别 -->
                        "level": "%level",
                        <!--日志名称 -->
                        "logger_name": "%logger",
                        <!--日志信息 -->
                        "message": "%msg",
                        <!--日志堆栈 -->
                        "stack_trace": "%exception"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="PROJECT-FILE"/>
        <appender-ref ref="PROJECT-CONSOLE"/>
        <appender-ref ref="SOCKET"/>
        <appender-ref ref="LOGSTASH"/>
    </root>

</included>

以上四步骤即可实现将系统打印的日志上传到logstash，logstash再自动上传elasearch，然后再kibana展示。

 

ligstash配置


input { stdin { } }



input {
  tcp {
	#不配置默认是安装服务器ip
    #host => "localhost"
	#开启的端口
    port => 8084
    mode => "server"
    tags => ["tags"]
	#输出json格式，需要装插件
    codec => json_lines
  }

}


output {
 stdout{codec =>rubydebug}
  elasticsearch {
   #es地址，可多个
   hosts => ["localhost:9200"]
    flush_size => 1000
    action => "index"
	#获取输出参数"indexname"值当做索引，如果没有则会自动创建对应索引(需要es开启自动创建索引)
    index => "%{indexname}"
   }
}

场景二：

场景二：比如我想统计api接口调用次数、那些人调用等信息

1）创建InterfaceApiFitlerResult 

public class InterfaceApiFitlerResult {
    
    @ApiModelProperty("接口id")
    private String interfaceId;
    @ApiModelProperty("appKey")
    private String appKey;
    @ApiModelProperty("ip")
    private String ip;
import cn.evun.geely.dataserver.gds.model.api.InterfaceApiFitlerResult;
import com.alibaba.fastjson.JSONObject;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
public class InterfaceApiFitlerLog {
    private static Logger log = LoggerFactory.getLogger(InterfaceApiFitlerLog.class);
    public static void log(InterfaceApiFitlerResult req) {
        MDC.clear();
        MDC.put("appKey",req.getAppKey());
        MDC.put("interfaceId",req.getInterfaceId());
        MDC.put("userIp",req.getIp());
        log.info(json);
    }
    private static String format(InterfaceApiFitlerResult req) {
        return JSONObject.toJSONString(req);
    }
}

二）xml配置

    2.1）新增interface_api_log_fitler.xml

<?xml version="1.0" encoding="UTF-8"?>
<included>
	<!--日志文件备份配置 -->
	<appender name="FILTER_RESULT_LOG"
		class="ch.qos.logback.core.rolling.RollingFileAppender">
		<filter class="ch.qos.logback.classic.filter.LevelFilter">
			<level>INFO</level>
		</filter>
		<!-- <Encoding>UTF-8</Encoding> -->
		<File>${logging.path}/api/api-filter-result.log</File>
		<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
			<!-- daily rollover -->
			<FileNamePattern>${logging.path}/api/api-filter-result.%d{yyyy-MM-dd}.log
			</FileNamePattern>
			<!-- keep 30 days' worth of history -->
			<maxHistory>30</maxHistory>
		</rollingPolicy>
		<layout class="ch.qos.logback.classic.PatternLayout">
			<pattern>%m%n</pattern>
		</layout>
	</appender>
	
	<!-- logback 和 logstash 通讯配置 -->
    <appender name="SOCKET" class="net.logstash.logback.appender.LogstashSocketAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <host>${logstash.host}</host>
        <port>${logstash.port}</port>
    </appender>

    <!-- logstash远程日志配置-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>${logstash.host}:${logstash.port}</destination>
		<!--输出打印json格式-->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <pattern>
                    <pattern>
                        <!--输出日志可自定义，可根据自己需要配置-->
                        {
                        <!--es索引名称 -->
                        "indexname":"interface_api",
                        <!--应用名称 -->
                        "appname":"${spring.application.name}",
                        "appKey":"%mdc{appKey}",
						"interfaceId":"%mdc{interfaceId}",
						"userIp":"%mdc{userIp}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

	<logger name="cn.evun.geely.dataserver.gds.log.InterfaceApiFitlerLog" level="INFO"
		additivity="false">
		<appender-ref ref="FILTER_RESULT_LOG" />
		<appender-ref ref="SOCKET"/>
        <appender-ref ref="LOGSTASH"/>
	</logger>

</included>

2.2）在logback-spring.xml文件引入

<include resource="interface_api_log_fitler.xml" />

3）测试方法

@ApiOperation("")
    @RequestMapping(value = "/interfaceApiFitlerLog", method = RequestMethod.GET)
    public APIResponse interfaceApiFitlerLog() {
            InterfaceApiFitlerResult api = new InterfaceApiFitlerResult();
            api.setIp("127.0.0.1");
            api.setAppKey("testAppKey");
            api.setInterfaceId("testInterfaceId");
            InterfaceApiFitlerLog.log(api);

       
        return APIResponse.success();
    }

4）执行结果

这样就可以通过kibana做一个简单的统计图了

阿尔托利雅-潘德拉贡
关注
专栏目录
Java Logstash_Kibana：（三）使用 Logback 向 Logstash 中输出日志
地球村
10-08 746
使用 Logback 向 Logstash 中输出日志1.修改 pom.xml2.导入 logback.xml3.新建启动类 需求：随意新建一个项目把输出到控制台的日志信息也输出到 Logstash 中。 1.修改 pom.xml ogstash-logback-encoder 就是转码后向 logstash 中输入的依赖 注意： 1.如果导入的是 6.x 版本不会在控制台看见任何额外日志信息 2.如果导入的是 5.x 版本会在控制台看见 logback.xml 加载的信息 <parent&g
Logback通过rabbitmq发送日志到Logstash
luckySurvival的博客
12-14 812
Logback通过rabbitmq发送日志到Logstash前言新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 这篇主要是记录自己整合的过程，其中有参考其他博文，侵删。 新的改变 我们对Markdown编辑器进行了一
使用logstash把mysql同步到es，Kibana可视化查看
justleavel的博客
02-09 1824
Logstash下载地址：https://www.elastic.co/cn/downloads/logstash。
Logstash-Logback-Encoder 教程
最新发布
gitblog_00540的博客
08-10 1116
Logstash-Logback-Encoder 教程 logstash-logback-encoderLogback JSON encoder and appenders项目地址:https://gitcode.com/gh_mirrors/lo/logstash-logback-encoder 本教程将引导您了解 logstash-logback-encoder 项目，这是一个用于生成JSO...
logback输入日志到logstash
qq_33337927的博客
08-12 2215
logback输入日志到logstash的方法 1.配置logstash-6.5.0中的logstash.conf文件 增加tcp模块，注意开放端口,格式必须为json # Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pi input { file { path => "/home/emeet/
logback 输出日志到数据库、Logstash
啦啦啦啦 la
01-19 4378
logback 输出日志到数据库、Logstash 输入日志到数据库 创建表 DROP TABLE IF EXISTS logging_event; CREATE TABLE logging_event ( timestmp BIGINT NOT NULL, formatted_message TEXT NOT NULL,
将SpringBoot项目日志输出到kibana，logback.xml配置示例
Be_insighted的博客
09-01 651
示例dev环境日志输出到服务器，方便其他服务联调时问题定位！ <?xml version="1.0" encoding="UTF-8"?> <configuration> <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <!-- logstash日志收集服务地址 --> <de.
Elasticsearch学习（八）使用Logback向Logstash中输出日志，在Logstash中分析
一天不写代码难受的博客
02-16 809
目录使用Logback向Logstash中输出日志1修改pom.xml2导入logback.xml3 查看kibanakibana中进行分析 使用Logback向Logstash中输出日志 需求：随意新建一个项目把输出到控制台的日志信息也输出到Logstash中。 1修改pom.xml logstash-logback-encoder就是转码后向logstash中输入的依赖。 注意： 如果导入的是6.x版本不会在控制台看见任何额外日志信息。 如果导入的是5.x版本会在控制台看见logback.xml加载的信
Spring Boot 使用 logback、logstash、ELK 记录日志文件的方法
08-28
在本文中，我们将详细介绍 Spring Boot 使用 logback、logstash、ELK 记录日志文件的方法。 logback 的优点 相比 log4j，logback 有以下几个优点： 1. 更快的实现：logback 的内核重写了，在一些关键执行路径上...
扩展logback将日志输出到Kafka实例源码
01-23
当我们需要将日志实时地传输到Kafka以便进行进一步分析或存储时，就需要扩展Logback以实现这一目标。 标题"扩展logback将日志输出到Kafka实例源码"涉及的技术点主要集中在如何将Logback与Kafka集成，使得日志可以被...
使用Logstash收集日志输出到ES通过Kibana做日志分析
DreamsArchitects的博客
11-02 2515
文章目录一、安装ES、Logstash、Kibana二、配置yml三、配置logback_spring.xml日志文件四、配置logstash信息启动测试启动es启动Logstash启动Kibana 一、安装ES、Logstash、Kibana 安装步骤略过 docker pull elasticsearch:7.8.0 docker pull logstash:7.8.0 docker pull kibana:7.8.0 由于云服务器配置太低，使用docker启动不起来。（使用本地的虚拟机） 二、配置
logback日志写logstash配置appender参考
04-17
logback日志写logstash配置appender参考
关于” 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引” 这篇博客相关的优化采坑记录...
dianhe7741的博客
05-25 425
之前写过一篇博客是关于记录日志的简单方式的 主要就是 应用->redis->logstash->elasticsearch 整个流程的配置方法和过程的 https://www.cnblogs.com/zhyg/p/6994314.html 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引 虽然我们部分线上应用...
Logback日志输入到logstash
酸奶盖儿的博客
10-18 966
添加依赖 <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>4.9</version> </dependency> logback-spring.x
使用SpringBoot之logback与logstash集成问题
u013423234的博客
07-22 2601
SpringBoot开发过程中，使用ELK结合logback做日志分析，在引入<artifactId>logstash-logback-encoder</artifactId>依赖后，如果日志相关包再引入<artifactId>spring-boot-starter-log4j</artifactId>依赖就会有问题，具体原因我也不清楚。
Logstash Filebeat 安装配置之使用 Kibana 分析日志数据
会哭的雨@的博客
10-28 1142
什么是 Logstash？ Logstash 是用于管理事件和日志的开源工具。它为数据收集提供实时传递途径。Logstash 将收集你的日志数据，将数据转换为 JSON 文档，并将其存储在 Elasticsearch 中。 本教程的目地是使用Logstash来收集服务器的syslog，并设置Kibana可视化收集的日志。 此次我们需要用到的组件： Logstash：处理传入日志的的服务器组件Elasticsearch：存储所有日志。Kibana：用于搜索和可视化日志的Web界面。Filebeat：安
Springboot 使用logback直接将日志写入Elasticsearch,再通过kibana查看
qq_31745863的博客
05-11 4896
Springboot 使用logback直接将日志写入Elasticsearch,再通过kibana查看 正常情况下，一般组合为elk 即日志会通过logstash写入es，但本文主要为轻量级项目直接利用appender写入Elasticsearch 1. 导入依赖 <!--日志elasticsearch--> <dependency> <groupId>com.internetitem&lt
logback 集成 logstash
偶尔记一下 - mybatis.io
11-26 3429
到这里可以看到，上面提供的完整配置中，没有介绍常见的控制台输出，其他都是必要的配置。input {tcp {}}output {}stdout {}}上面的配置会为每个appname创建对应的索引，在 Kibana 中的 DavaView 可以配置app*索引来查看所有应用的日志。
springboot整合elk 日志展示到kibana
忆江南的博客
04-26 1497
1、docker部署 下载镜像 docker pull sebp/elk:latest 2、启动 echo "vm.max_map_count=262144" > /etc/sysctl.conf sysctl -p docker run -dit --name elk \ -p 5601:5601 \ -p 9200:9200 \ -p 5044:5044...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值