TLOG日志框架springboot项目集成与扩展

已于 2023-03-16 17:29:35 修改
阅读量2k 收藏 3
点赞数 1
分类专栏： 项目应用 java 文章标签： TLOG 链路跟踪 多线程 消息队列 traceId
于 2023-03-16 16:08:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengliangxi/article/details/129588499
版权

目录

前言

一、TLOG开源组件集成

1.maven引入

2. 日志文件logback-spring.xml修改

二、TLOG扩展开发自己的starter

1.项目层级

2.扩展点：1.打印请求url 2.打印响应日志

a.打印请求日志中的url实现RequestBodyAdvice 

b.打印响应日志实现ResponseBodyAdvice

 c.打印内容

三、多线程与kafka消息队列，方法中traceId的传递

1.线程池

2.kafka等消息队列

前言

随着微服务盛行，很多公司都把系统按照业务边界拆成了很多微服务，在排错查日志的时候。因为业务链路贯穿着很多微服务节点，导致定位某个请求的日志以及上下游业务的日志会变得有些困难，那么今天所介绍的这款开源工具一定是一个不错的选择

一、TLOG开源组件集成

  1.maven引入

      <dependency>
            <groupId>com.yomahub</groupId>
            <artifactId>tlog-all-spring-boot-starter</artifactId>
            <version>${tlog.version}</version>
        </dependency>

2. 日志文件logback-spring.xml修改

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!--设置系统日志目录-->
    <springProperty scope="context" name="moduleName" source="spring.application.name" defaultValue="tclAppLog"/>

    <property name="LOG_PATH" value="./logs" />
    <property name="LOG_NAME" value="${moduleName}" />

    <!-- 日志记录器，日期滚动记录 -->
    <appender name="FILEERROR" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 正在记录的日志文件的路径及文件名 -->
        <file>${LOG_PATH}/${LOG_NAME}/log_error.log</file>
        <!-- 日志记录器的滚动策略，按日期，按大小记录 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 归档的日志文件的路径，例如今天是2013-12-21日志，当前写的日志文件路径为file节点指定，可以将此文件与file指定文件路径设置为不同路径，从而将当前日志文件或归档日志文件置不同的目录。
            而2013-12-21的日志文件在由fileNamePattern指定。%d{yyyy-MM-dd}指定日期格式，%i指定索引 -->
            <fileNamePattern>${LOG_PATH}/${LOG_NAME}/error/log-error-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <!-- 除按日志记录之外，还配置了日志文件不能超过2M，若超过2M，日志文件会以索引0开始，
            命名日志文件，例如log-error-2013-12-21.0.log -->
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>10MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <!-- 追加方式记录日志 -->
        <append>true</append>
        <!--这里替换成AspectLogbackEncoder-->
        <encoder class="com.tcl.log.core.AspectLogbackEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %X{tl} [%thread] %-5level %logger{50} - %msg[%A][%R]%n</pattern>
        </encoder>
        <!-- 此日志文件只记录info级别的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>error</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>


    <!-- 日志记录器，日期滚动记录 -->
    <appender name="FILEINFO" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 正在记录的日志文件的路径及文件名 -->
        <file>${LOG_PATH}/${LOG_NAME}/log_info.log</file>
        <!-- 日志记录器的滚动策略，按日期，按大小记录 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 归档的日志文件的路径，例如今天是2013-12-21日志，当前写的日志文件路径为file节点指定，可以将此文件与file指定文件路径设置为不同路径，从而将当前日志文件或归档日志文件置不同的目录。
            而2013-12-21的日志文件在由fileNamePattern指定。%d{yyyy-MM-dd}指定日期格式，%i指定索引 -->
            <fileNamePattern>${LOG_PATH}/${LOG_NAME}/info/log-info-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <!-- 除按日志记录之外，还配置了日志文件不能超过2M，若超过2M，日志文件会以索引0开始，
            命名日志文件，例如log-error-2013-12-21.0.log -->
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>10MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <!-- 追加方式记录日志 -->
        <append>true</append>
        <!--这里替换成AspectLogbackEncoder-->
        <encoder class="com.tcl.log.core.AspectLogbackEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %X{tl} [%thread] %-5level %logger{50} - %msg[%A][%R]%n</pattern>
        </encoder>
        <!-- 此日志文件只记录info级别的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>info</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!--设置一个向上传递的appender,所有级别的日志都会输出-->
    <appender name="FILEALL" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_PATH}/${LOG_NAME}/log_all.log</file>
        <!-- 日志记录器的滚动策略，按日期，按大小记录 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 归档的日志文件的路径，例如今天是2013-12-21日志，当前写的日志文件路径为file节点指定，可以将此文件与file指定文件路径设置为不同路径，从而将当前日志文件或归档日志文件置不同的目录。
            而2013-12-21的日志文件在由fileNamePattern指定。%d{yyyy-MM-dd}指定日期格式，%i指定索引 -->
            <fileNamePattern>${LOG_PATH}/${LOG_NAME}/all/log-all-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <!-- 除按日志记录之外，还配置了日志文件不能超过2M，若超过2M，日志文件会以索引0开始，
            命名日志文件，例如log-error-2013-12-21.0.log -->
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>10MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <!-- 追加方式记录日志 -->
        <append>true</append>
        <!--这里替换成AspectLogbackEncoder-->
        <encoder class="com.tcl.log.core.AspectLogbackEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %X{tl} [%thread] %-5level %logger{50} - %msg[%A][%R]%n</pattern>
        </encoder>
    </appender>

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <!--这里替换成AspectLogbackEncoder-->
        <encoder class="com.tcl.log.core.AspectLogbackEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %X{tl} [%thread] %-5level %logger{50} - %msg[%A][%R]%n</pattern>
        </encoder>
        <!--此日志appender是为开发使用，只配置最底级别，控制台输出的日志级别是大于或等于此级别的日志信息-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>debug</level>
        </filter>
    </appender>

    <logger name="org.springframework" level="${LOG_LEVEL:-info}" />
    <logger name="org.hibernate" level="${LOG_LEVEL:-info}" />
    <logger name="org.mybatis" level="${LOG_LEVEL:-info}"></logger>
    <logger name="org.apache" level="${LOG_LEVEL:-info}"></logger>

    <!-- 生产环境下，将此级别配置为适合的级别，以免日志文件太多或影响程序性能 -->
    <root level="${LOG_LEVEL:-info}">
        <appender-ref ref="FILEERROR" />
        <appender-ref ref="FILEINFO" />
        <appender-ref ref="FILEALL" />

        <!-- 生产环境将请stdout,testfile去掉 -->
        <appender-ref ref="STDOUT" />
    </root>
</configuration>

二、TLOG扩展开发自己的starter

1.项目层级

2.扩展点：1.打印请求url 2.打印响应日志

a.打印请求日志中的url实现RequestBodyAdvice 


/**
 * 日志请求拦截
 * @author liangxi.zeng
 */
@ControllerAdvice
@Component
public class LogRequestBodyAdvice implements RequestBodyAdvice {

    private static final Logger log = LoggerFactory.getLogger(LogRequestBodyAdvice.class);

    @Autowired
    private LogProperties logProperties;

    @Autowired
    private LogContext logContext;

    @Override
    public boolean supports(MethodParameter methodParameter, Type type, Class<? extends HttpMessageConverter<?>> aClass) {
        return logProperties.getResponse().isEnabled() && !StringUtils.isEmpty(TLogContext.getTraceId());
    }

    @Override
    public HttpInputMessage beforeBodyRead(HttpInputMessage httpInputMessage, MethodParameter methodParameter, Type type, Class<? extends HttpMessageConverter<?>> aClass) throws IOException {
        return httpInputMessage;
    }

    @Override
    public Object afterBodyRead(Object body, HttpInputMessage httpInputMessage, MethodParameter methodParameter, Type type, Class<? extends HttpMessageConverter<?>> aClass) {
        try {
            if(logProperties.getRequest().isEnabled()) {
                String url = logContext.getUrlTl().get();
                if (StringUtils.isEmpty(url)) {
                    url = LogUtil.getUrl(methodParameter);
                }
                if (!LogUtil.isIgnore(logProperties.getRequest().getIgnoreList(), url)) {
                    HttpHeaders headers = httpInputMessage.getHeaders();
                    if (headers != null) {
                        List<String> contentTypeList = headers.get(LogUtil.CONTENT_TYPE);
                        if (!CollectionUtils.isEmpty(contentTypeList) &&
                                !LogUtil.isUpload(contentTypeList.get(0))) {
                            log.info("requestBody参数:{}", JSON.toJSONString(body));
                        }
                    }
                }
            }
        } catch (Exception e) {
            log.error("日志请求打印异常，不影响业务，吞并异常",e);
        }
        return body;
    }

    @Override
    public Object handleEmptyBody(Object body, HttpInputMessage httpInputMessage, MethodParameter methodParameter, Type type, Class<? extends HttpMessageConverter<?>> aClass) {
        return body;
    }
}

b.打印响应日志实现ResponseBodyAdvice

/**
 * 脱敏日志响应拦截
 * @author liangxi.zeng
 */
@ControllerAdvice
@Component
public class LogResponseBodyAdvice implements ResponseBodyAdvice<Object> {

    private static final Logger log = LoggerFactory.getLogger(LogResponseBodyAdvice.class);

   @Autowired
   private LogProperties logProperties;

    @Autowired
    private LogContext logContext;

    @Override
    public boolean supports(MethodParameter returnType, Class<? extends HttpMessageConverter<?>> converterType) {
        return logProperties.getResponse().isEnabled() && !StringUtils.isEmpty(TLogContext.getTraceId());
    }

    /**
     * @param body
     * @param methodParameter
     * @param selectedContentType
     * @param selectedConverterType
     * @param request
     * @param response
     * @return
     */
    @Override
    public Object beforeBodyWrite(Object body, MethodParameter methodParameter, MediaType selectedContentType,
                                  Class<? extends HttpMessageConverter<?>> selectedConverterType,
                                  ServerHttpRequest request, ServerHttpResponse response) {
        try {
            if(logProperties.getResponse().isEnabled()) {
                String url = logContext.getUrlTl().get();
                if (StringUtils.isEmpty(url)) {
                    url = LogUtil.getUrl(methodParameter);
                }
                if (!LogUtil.isIgnore(logProperties.getResponse().getIgnoreList(), url)) {
                    StringBuffer logBuffer = new StringBuffer("结束请求URL[{}]的调用,");
                    StopWatch stopWatch = logContext.getInvokeTimeTL().get();
                    if (Objects.nonNull(stopWatch)) {
                        stopWatch.stop();
                        logBuffer.append("耗时为:").append(stopWatch.getTime()).append("毫秒;");
                    }
                    if (LogUtil.isJson(selectedContentType.toString())) {
                        logBuffer.append("响应内容为:").append(JSON.toJSONString(body));
                    } else if (LogUtil.isUpload(selectedContentType.toString())) {
                        logBuffer.append("文件上传,无需打印上传");
                    } else {
                        logBuffer.append("响应内容为:").append(body);
                    }
                    log.info(logBuffer.toString(), url);
                }
            }
        } catch (Exception e) {
            log.error("日志响应打印异常，不影响业务，吞并异常",e);
        }
        return body;
    }


}

 c.打印内容

三、多线程与kafka消息队列，方法中traceId的传递

1.线程池

ExecutorService pool = Executors.newFixedThreadPool(5);
pool.submit(new TLogInheritableTask() {
    @Override
    public void runTask() {
      log.info("我是异步线程日志");
    }
});

2.kafka等消息队列

TLogMqWrapBean<BizBean> tLogMqWrap = new TLogMqWrapBean(bizBean);
mqClient.send(tLogMqWrap);

对于消费者端，你需要这么做：

//从mq里接受到tLogMqWrapBean
TLogMqConsumerProcessor.process(tLogMqWrapBean, new TLogMqRunner<BizBean>() {
    @Override
    public void mqConsume(BizBean o) {
	    //业务操作
    }
});

总结

TLog是一个轻量级的分布式日志标记追踪神器，10分钟即可接入，自动对日志打标签完成微服务的链路追踪。支持log4j，log4j2，logback三大日志框架，在我使用的时候，有些不满足业务需要，所以我自己在读了源码后进行了个性化定制，现在已经在项目中使用

zengliangxi
关注
专栏目录
【项目实战】日志追踪框架TLog入门介绍
本本本添哥
05-14 520
TLog是一款基于MDC（Mapped Diagnostic Context）模型的日志追踪框架TLog旨在提供一种简单的方式来解决日志追踪问题TLog支持Java主流微服务框架，比如dubbo、dubbox、spring cloud等RPC框架。TLog 是一个轻量级的分布式日志追踪工具使用 TLog 来增强微服务架构中的日志追踪能力，提升问题定位和系统维护的效率。
springboot整合tlog进行链路追踪、接口耗时统计
蔡定努
01-17 631
链路追踪
TLog分布式日志标记追踪器-其他
06-11
TLog是一个轻量级的分布式日志标记追踪神器，10分钟即可接入，自动对日志打标签完成微服务的链路追踪。支持log4j，log4j2，logback三大日志框架，支持dubbo，dubbox，springcloud三大RPC框架。 特性： 通过对日志打标签完成轻量级微服务日志追踪 提供三种接入方式：javaagent完全无侵入接入，字节码一行代码接入，基于配置文件的接入 对业务代码无侵入式设计，使用简单，10分钟即可接入 支持常见的log4j，log4j2，logback三大日志框架，并提供自动检测，完成适配 支持dubbo，dubbox，springcloud三大RPC框架 支持日志标签的自定义模板的配置，提供多个系统级埋点标签的选择 支持异步线程的追踪，包括线程池，多级异步线程等场景 几乎无性能损耗，快速稳定 TLog 更新日志： v1.3.1 bug: #I3RROF:xxljob的依赖会强制传递
Tlog SpringBoot3.x版本无法正常打印TraceId等数据
弱弱的猿
11-29 1411
Tlog1.5.1不支持Springboot3.x版本问题解决
TLog 开源项目使用教程
最新发布
gitblog_00238的博客
09-10 469
TLog 开源项目使用教程 tlogTerminal I/O logger项目地址:https://gitcode.com/gh_mirrors/tl/tlog 1. 项目介绍 TLog 是一个轻量级的分布式日志标记追踪工具，旨在帮助开发者在微服务架构中快速定位和追踪日志。TLog 通过自动对日志进行打标签，生成 TraceId 贯穿整个微服务链路，并提供上下游节点信息，适合中小型企业以及希望快...
SpringBoot实战（二十一）集成 TLog 日志
ACGkaka的博客
07-22 1774
SpringBoot实战（二十一）集成 TLog 日志
SpringBoot 2.5.5整合轻量级的分布式日志标记追踪神器TLog
weixin_47367099的博客
10-19 1161
但是搭建分布式追踪系统，熟悉以及推广到全公司的系统需要一定的时间周期，而且当中涉及到链路span节点的存储成本问题，全量采集还是部分采集？2022-10-18 23:24:52.137 INFO 88321 --- [nio-8080-exec-1] com.ybchen.controller.DemoController : 多个数值-------->加了patter和joint的示例。
SpringBoot(52) 整合TLog实现分布式日志标记追踪
qq_34874784的博客
06-08 730
SpringBoot(52) 整合TLog实现分布式日志标记追踪
TLog是一个轻量级的分布式日志标记追踪神器
06-09
TLog是一个轻量级的分布式日志标记追踪神器，10分钟即可接入，自动对日志打标签完成微服务的链路追踪。支持log4j，log4j2，logback三大日志框架，支持dubbo，dubbox，springcloud三大RPC框架
SpringBoot3.0.2集成Tlog（1.5.2）时未输出TraceId等日志信息
kawentea的专栏
04-28 1123
springboot3集成Tlog时未输出TraceId等日志信息的问题、原因和解决方案。
Spring Boot |SpringBoot的日志框架及配置
12-21
文章目录一、常用的日志框架1.1 日志门面1.2 日志实现1.3 Spring Boot的日志框架选择二、SLF4j的使用2.1 SLF4j使用原理2.2 统一日志管理三、SpringBoot日志关系四、SpringBoot日志使用4.1 默认设置4.2 指定配置4.3 切换日志框架(不推荐) 一、常用的日志框架 市场上存在非常多的日志框架，分为日志门面(日志的抽象层)和日志实现。 1.1 日志门面 JUL（java.util.logging) JCL（ApacheCommons Logging) (JCL最后一次更新是2014年) SLF4j jboss-logging (jboss只在特
TLog:轻量级分布式日志标签跟踪框架
04-12
您的star是我继续前进的动力，如果喜欢请右上角帮忙点个star Gitee的star趋势图 贡献者 概述 TLog是一个轻量级的分布式日志标记追踪神器，10分钟即可接入，自动对日志打标签完成微服务的链路追踪。支持log4j，log4j2，logback三大日志框架，支持dubbo，dubbox，springcloud三大RPC框架 项目主页请点击： 示例工程请点击： 特性 通过对日志打标签完成轻量级微服务日志追踪 提供三种接入方式：javaagent完全无侵入接入，字节码一行代码接入，基于配置文件的接入 对业务代码无侵入式设计，使用简单，10分钟即可接入 支持常见的log4j，log4j2，logback三大日志框架，并提供自动检测，完成适配 支持dubbo，dubbox，springcloud三大RPC框架 支持日志标签的自定义模板的配置，提供多个系统级埋点标签的选择 支持异步线程的追
SpringBoot整合日志框架LogBack
weixin_30877181的博客
06-13 236
日志可以记录我们应用程序的运行情况，我们可以通过日志信息去获取应用程序更多的信息。常用处理java日志的组件有：slf4j、log4j、logback、common-logging等。其中log4j是使用得最多的日志组件。 而LogBack是基于Log4j基础上大量改良的一种日志框架，但是它不能单独使用，推荐配合日志框架SLF4J来使用。 LogBack当前分...
盘古框架集成 TLog 实现微服务分布式日志追踪
码农大熊的博客
06-25 320
随着微服务盛行，很多公司都把系统按照业务边界拆成了很多微服务。因此业务链路贯穿着很多微服务节点，导致定位某个请求的日志以及上下游业务的日志会变得非常困难。 为了解决这一痛点， 业界也有诸多成熟方案。如 SkyWalking，Pinpoint 等，但其运维成本和数据存储成本均不可小觑。如果有相应的资源去做那它们自然是不二之选。 但如果你资源有限，那么这里给出一个非常轻量的通过集成 TLog 来解决日志追踪问题的方案。TLog 提供了一种最简单的方式来解决日志追踪问题，它不收集日志，也不需要另外的存储空间，它只
SpringBoot如何集成Log模块呢？
qq_25073223的博客
11-19 353
SpringBoot集成Log模块的方法分享
SpringBoot系列——集成logback
哈哈书架
01-10 464
最简单的配置方式，还有种方式较为升级版的： SpringBoot 集成logback——分环境配置日志路径 pom.xml引包 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <ver...
springboot快速整合log日志，快速上手
shawn的博客
11-16 312
添加依赖 <!--日志打印--> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <ve...
日志框架之TLog讲解分析
上善若泪
01-05 3844
TLog提供了一种最简单的方式来解决日志追踪问题，TLog会自动的对日志进行打标签，自动生成traceId贯穿你微服务的一整条链路，在排查日志的时候，可以根据traceId来快速定位请求处理的链路。TLog不收集日志，只在原来打印的日志上增强，将请求链路信息traceId绑定到打印的日志上。当出现微服务中那么多节点的情况，官方推荐使用TLog+日志收集方案来解决。当然分布式追踪系统其实是链路追踪一个最终的解决方案，如果项目中已经上了分布式追踪系统，那TLog并不适用。如下图，是ELK配合TLog。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值