dubbo全链路日志追踪实践

最新推荐文章于 2024-04-24 22:52:03 发布
最新推荐文章于 2024-04-24 22:52:03 发布
阅读量1.4k 收藏 5
点赞数 1
分类专栏： dubbo 文章标签： 过滤器 java filter
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MrWangO/article/details/105468797
版权

dubbo全链路日志追踪实践

想做到日志完整的链路追踪,实现原理很简单,为每一个请求创造一个唯一标识(traceId),我们通过traceId来查找对应web层,service层中的具体代码日志,同时我们可以统计其他相关信息.
(网上好多铁子都瞎写,要不就复制粘贴,仔细看这篇保证你能弄出来,没异常)

假设现在目前项目结构:
web(放controller的),userService(放mapper.xml的), productServuce(也是放mapper.xml的 ),…(这里仅以web项目 ,productService为例)
针对web我们为每一个请求分发traceId好说因为我们可以创建拦截器和过滤器都可实现,问题在于,当web通过zookeeper调用对应service时如何将traceId 传递下去,这里需要用到一个对象RpcContext
下边代码为具体实践过程
(题外话,目前我的项目采用dubbo2.7.6的版本,请注意将对应的dubbo-spring-boot-starter升级到一致的版本,别问为啥)
web项目创建拦截器并创建traceId,代码里ResourcesUtil.TRACEID 只是一个字符串 “traceId”

package ****.web.filter;
import lombok.extern.slf4j.Slf4j;
import org.slf4j.MDC;
import org.springframework.stereotype.Component;
import org.springframework.web.servlet.HandlerInterceptor;
import org.springframework.web.servlet.ModelAndView;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.util.UUID;
@Slf4j
@Component
public class TraceIdInterceptor implements HandlerInterceptor {

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        // generate traceId
        String traceId = UUID.randomUUID().toString().replace("-", "");
        request.setAttribute(ResourcesUtil.TRACEID,traceId);
        // put traceId
        Context.initialLocal(request);
        log.info("web拦截器请求拦截,地址: "+request.getRequestURI() + " traceId: " + traceId);
        return true;
    }

    @Override
    public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception {

    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {

    }
}

web创建Context作为util存在即可



package ****.web.utils;
import org.apache.catalina.connector.Request;
import org.apache.logging.log4j.ThreadContext;

import javax.servlet.http.HttpServletRequest;


public class Context {


    private static final ThreadLocal<HttpServletRequest> REQUEST_LOCAL = new ThreadLocal<>();

    public final static void initialLocal(HttpServletRequest request) {
        if (null == request) {
            return;
        }
        ThreadContext.put(ResourcesUtil.TRACEID, request.getAttribute(ResourcesUtil.TRACEID)+"");
        REQUEST_LOCAL.set(request);
    }

    public static HttpServletRequest getCurrentRequest() {
        return REQUEST_LOCAL.get();
    }


}

为webStarter添加拦截器
在这里插入图片描述
拦截器加完了,到这里你每一个web接口请求都会有一个traceId了,所以我们现在修改下接口返回值,将这个值返回给调用者,不管他用不用.

系统全接口统一返回值

package **.common.util;

import com.fasterxml.jackson.annotation.JsonInclude;
import com.fasterxml.jackson.annotation.JsonInclude.Include;
import **.common.util.error.ErrorCode;
import io.swagger.annotations.ApiModelProperty;
import lombok.Data;
import lombok.experimental.Accessors;

import java.io.Serializable;
import java.text.SimpleDateFormat;
import java.util.Date;

@Data
@Accessors(chain = true)
public class ApiResponse<T> implements Serializable {

    @ApiModelProperty(value = "返回代码")
    private int code = ErrorCode.NO_ERROR.getCode();
    @ApiModelProperty(value = "返回信息")
    private String msg = ErrorCode.NO_ERROR.getMessage();
    @ApiModelProperty(value = "返回时间")
    private String timestamp=getNowDate();
    @ApiModelProperty(value = "返回数据")

    @JsonInclude(Include.NON_NULL)
    private T result;
    //注意这里是新增的属性traceID接口请求的唯一标识
    private String traceId;


    public ApiResponse() {
        super();
    }

    public ApiResponse(T t) {
        this.result = t;
    }

    public ApiResponse(ErrorCode protocolErrorCode) {
        this.code = protocolErrorCode.getCode();
        this.msg = protocolErrorCode.getMessage();
    }

    public ApiResponse(ErrorCode protocolErrorCode, String msg) {
        this.code = protocolErrorCode.getCode();
        this.msg = msg;
    }
    public static String getNowDate() {
        Date currentTime = new Date();
        SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        return formatter.format(currentTime);
    }
}

创建ResponseModifyAdvice类在接口返回数据之前我们需要对它改造下

package *.web.conf;

import *.common.util.ApiResponse;
import *.common.util.PageResponse;
import *.common.util.error.ResourcesUtil;
import org.slf4j.MDC;
import org.springframework.core.MethodParameter;
import org.springframework.http.MediaType;
import org.springframework.http.converter.HttpMessageConverter;
import org.springframework.http.server.ServerHttpRequest;
import org.springframework.http.server.ServerHttpResponse;
import org.springframework.web.bind.annotation.ControllerAdvice;
import org.springframework.web.servlet.mvc.method.annotation.ResponseBodyAdvice;

@ControllerAdvice
public class ResponseModifyAdvice implements ResponseBodyAdvice<Object> {

    @Override
    public boolean supports(MethodParameter methodParameter, Class<? extends HttpMessageConverter<?>> aClass) {
        return true;
    }

    @Override
    public Object beforeBodyWrite(Object o, MethodParameter methodParameter, MediaType mediaType, Class<? extends HttpMessageConverter<?>> aClass, ServerHttpRequest serverHttpRequest, ServerHttpResponse serverHttpResponse) {

        if(o instanceof ApiResponse){
            ((ApiResponse) o).setTraceId(MDC.get(ResourcesUtil.TRACEID));
        } 

        return o;
    }
}

到此为止,你的web项目现在在访问接口的时候,是不都有了一个traceId,

下边开始解决,web中如何将这个traceId传递给对应的提供者
也是蛮简单的,通过dubbo的拦截器实现,当我们web应用调用对应的service时,web是消费者,对应的service就是提供者,所以我们要为web中dubbo.consumer配置filter属性
过滤器实现代码如下

package *.web.filter;

import com.alibaba.dubbo.common.extension.Activate;
import *.common.util.RedisUtil;
import *.web.utils.Context;
import *.common.util.error.ResourcesUtil;
import lombok.extern.slf4j.Slf4j;
import org.apache.dubbo.rpc.*;

import javax.annotation.Resource;
import javax.servlet.http.HttpServletRequest;

/**
 * @author wzd
 */
@Slf4j
@Activate(group = {"consumer"})
public class WebLogFilter implements Filter {
    @Resource
    private RedisUtil redisUtil;

    @Override
    public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
        //1.从ThreadLocal获取请求信息
        HttpServletRequest request  =  Context.getCurrentRequest();
        //2.将Context参数放到RpcContext
        RpcContext rpcCtx =  RpcContext.getContext();
        Context.initialLocal(request);
        String token = request.getHeader("token");
        String traceId = (String) request.getAttribute(ResourcesUtil.TRACEID);
        rpcCtx.setAttachment(ResourcesUtil.TRACEID, traceId);
        log.info("web请求拦截,地址: "+invoker.getUrl() + " traceId: " + request.getAttribute(ResourcesUtil.TRACEID));
//        if(redisUtil == null){
//            BeanFactory factory = WebApplicationContextUtils.getRequiredWebApplicationContext(request.getServletContext());
//            redisUtil = (RedisUtil) factory.getBean("redisUtil");
//        }
//        redisUtil.getModel(redisUtil.getUserTokenKey(TokenUtil.getJWTUserName(token), TokenUtil.getJWTUserType(token)), UserToken.class);
        log.info("请求用户token: "+token);
        return invoker.invoke(invocation);
    }

}

修改配置文件(因为我们是多配置,具体改哪个文件你自己变通下)
在这里插入图片描述
另外需要创建文件在META-INF.dubbo下 文件名:com.alibaba.dubbo.rpc.Filter
内容如下

webLogFilter= **.web.filter.WebLogFilter

NOTE ! dubbo.consumer.filter配置的名称就是文本文件中的key 别瞎写
至此web项目中所有配置就都ok了接下来是要配置提供者的项目了,原理一样,这里不赘述直接上代码

创建文本文件,因为service有可能既是消费者又是提供者所以两个都拦截
在这里插入图片描述

package *.product.filter;
import com.alibaba.fastjson.JSONObject;
import *.common.util.error.ResourcesUtil;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.dubbo.common.extension.Activate;
import org.apache.commons.lang3.StringUtils;
import org.apache.dubbo.rpc.RpcContext;
import org.slf4j.MDC;
import com.alibaba.dubbo.rpc.Filter;
import com.alibaba.dubbo.rpc.Invocation;
import com.alibaba.dubbo.rpc.Invoker;
import com.alibaba.dubbo.rpc.Result;
import com.alibaba.dubbo.rpc.RpcException;
import java.util.UUID;

/**
 */
//@Activate(group = {"consumer"})
public class ConsumerRpcTraceFilter implements Filter {
    Log log = LogFactory.getLog(ConsumerRpcTraceFilter.class);
    @Override
    public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
        // 获得 RPC 方法名
        String methodName = invoker.getUrl().getPath();
        // 获得开始时间
        long startTime = System.currentTimeMillis();
        String traceId = RpcContext.getContext().getAttachment(ResourcesUtil.TRACEID);
        if (StringUtils.isBlank(traceId)) {
            traceId = this.getUUID() ;
        }
        Object[] arguments = invocation.getArguments();
        log.info("消费者拦截请求, traceId:" + traceId + " methodName: " + methodName + "startTime: " + startTime + " arguments: " + JSONObject.toJSONString(arguments));
        //设置日志traceId变量
        MDC.put(ResourcesUtil.TRACEID, traceId);
        RpcContext.getContext().setAttachment(ResourcesUtil.TRACEID, traceId);
        try{
            Result result = invoker.invoke(invocation);
            // 抛出的异常
            Throwable exception = result.getException();
            // 返回结果
            Object value = result.getValue();
            // 打印结束日志
            if (exception != null) {
                log.info("消费者拦截请求结束,traceId: "+traceId + "耗时:"+(System.currentTimeMillis() - startTime) + "毫秒,响应结果异常:" + exception.getMessage());
            } else {
                log.info("消费者拦截请求结束, traceId: " +traceId+"耗时:"+(System.currentTimeMillis() - startTime) + "毫秒,响应结果:" + JSONObject.toJSONString(value));
            }
            return result;
        }finally {
            MDC.remove(ResourcesUtil.TRACEID);
        }
    }

    /**
     * 获取UUID
     * @return String UUID
     */
    public String getUUID(){
        String uuid = UUID.randomUUID().toString();
        //替换-字符
        return uuid.replaceAll("-", "");
    }

}

package *.product.filter;
import com.alibaba.fastjson.JSONObject;
import *.common.util.error.ResourcesUtil;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.commons.lang3.StringUtils;
import org.apache.dubbo.rpc.RpcContext;
import org.slf4j.MDC;
import com.alibaba.dubbo.rpc.Filter;
import com.alibaba.dubbo.rpc.Invocation;
import com.alibaba.dubbo.rpc.Invoker;
import com.alibaba.dubbo.rpc.Result;
import com.alibaba.dubbo.rpc.RpcException;
import java.util.UUID;

/**
 * @author wzd
 */
//@Activate(group = {"provider"},order = 1)
public class ProviderRpcTraceFilter implements Filter {
    Log log = LogFactory.getLog(ConsumerRpcTraceFilter.class);


    @Override
    public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
        // 获得 RPC 方法名
        String methodName = invoker.getUrl().getPath();
        // 获得开始时间
        long startTime = System.currentTimeMillis();
        String traceId = RpcContext.getContext().getAttachment(ResourcesUtil.TRACEID);
        if (StringUtils.isBlank(traceId)) {
            traceId = this.getUUID() ;
        }
        Object[] arguments = invocation.getArguments();
        log.info("提供者拦截请求, traceId:" + traceId + " methodName: " + methodName + "startTime: " + startTime + " arguments: " + JSONObject.toJSONString(arguments));
        //设置日志traceId变量
        MDC.put(ResourcesUtil.TRACEID, traceId);
        RpcContext.getContext().setAttachment(ResourcesUtil.TRACEID, traceId);
        try{
            Result result = invoker.invoke(invocation);
            // 抛出的异常
            Throwable exception = result.getException();
            // 返回结果
            Object value = result.getValue();
            // 打印结束日志
            if (exception != null) {
                log.info("提供者拦截请求结束,traceId: "+traceId + "耗时:"+(System.currentTimeMillis() - startTime) + "毫秒,响应结果异常:" + exception.getMessage());
            } else {
                log.info("提供者拦截请求结束, traceId: " +traceId+"耗时:"+(System.currentTimeMillis() - startTime) + "毫秒,响应结果:" + JSONObject.toJSONString(value));
            }
            return result;
        }finally {
            MDC.remove(ResourcesUtil.TRACEID);
        }
    }

    /**
     * 获取UUID
     * @return String UUID
     */
    public String getUUID(){
        String uuid = UUID.randomUUID().toString();
        //替换-字符
        return uuid.replaceAll("-", "");
    }

}

修改配置文件 (provider中-exception可以忽略掉)
在这里插入图片描述

测试

swagger接口测试
在这里插入图片描述
web控制台
在这里插入图片描述
对应的service(如果统一项目部署在多台机器上效果一样)
在这里插入图片描述
最后,因为添加过滤器肯定会对接口响应速度有所影响,所以我将其中redis获取用户信息代码注释掉,具体影响如何看下图,想加就加吧
在这里插入图片描述

MrWangO
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一个轻量级的分布式日志标记追踪神器，10分钟即可接入，自动对日志打标签完成微服务的链路追踪
03-18
一个轻量级的分布式日志标记追踪神器，10分钟即可接入，自动对日志打标签完成微服务的链路追踪。支持log4j，log4j2，logback三大日志框架，支持dubbo，dubbox，springcloud三大RPC框架
一种基于dubbo的分布式服务全链路追踪的解决方案
Java个体户
09-27 811
背景 目前，微服务和分布式服务架构在互联网公司被普遍应用，在国内阿里dubbo用的比较多，但是，dubbo只是一个rpc框架，缺乏全链路追踪组件，并不像springcloud是一个生态，包含了各种分布式组件。 我们公司也是用dubbo，分布式服务虽然解决了水平扩展的问题，但是却又带来了其他新的问题，比如链路追踪这一块，如果是单体应用，所有的日志都在一个项目，现在是服务集群，各个服务之间的调用关系是错综复杂的，同一个服务具体是走的哪一个机器，是根据负载均衡算法路由的，所以不好查日志。哪怕是用了elk中心化日志
项目实战第二篇：一文搞懂全链路日志实现（一）
java进阶之路
02-18 661
项目中引入这玩意，排查日志又快又准：全链路日志实现
全链路内容分享(五)：Skywalking实现Dubbo微服务链路追踪
之乎者也·的博客
02-11 1098
前面我给大家分享了关于分布式链路追踪的基本原理和的k8s部署玩法，如果还没来得及看的朋友可以看我上两篇文章。今天要给大家分享是我们日常工作中最常见的一种场景，那就是部署在k8s环境下的，要接入的具体玩法，通过这个过程咱们可以更深入的理解进行数据采集的逻辑，也能更深刻地从运维角度理解日常工作中所写的Java微服务被无侵入的方式接入分布式链路追踪系统的过程！
调用链系列三、基于zipkin调用链封装starter实现springmvc、dubbo、restTemplate等实现全链路跟踪...
weixin_30467087的博客
11-11 388
一、实现思路 1、过滤器实现思路 所有调用链数据都通过过滤器实现埋点并收集、同一条链共享一个traceId、每个节点有唯一的spanId。 2、共享传递方式 1、rpc调用：通过隐式传参、dubbo有提供spi在rpc调用之前塞到请求中。参考：dubbo系列六、SPI扩展Filter隐式传参 2、http调用：通过servlet过滤器、在请求前放入requestHead中传递、resTe...
Dubbo 全链路追踪日志的实现
小猪快跑的博客
11-08 948
目标 http接口 所有HTTP API响应体中增加traceId字段： { "code": 200, "data": "Hello world", "msg": "ok", "traceId": "bd41aed8b2da4895a9d2b43d1ef12595" } dubbo接口 对于服务调用方：每次调用服务时，都需要向服务提供方传递traceId...
dubbo分布式服务实现日志链路追踪traceid
weixin_43965937的博客
01-15 1815
dubbo服务日志链路追踪
什么是链路追踪？分布式系统如何实现链路追踪？
Python研究所
11-27 4333
此文转载自：https://my.oschina.net/u/4196605/blog/4721563 大咖揭秘Java人都栽在了哪？点击免费领取《大厂面试清单》，攻克面试难关~>>> 公众号关注 “ 杰哥的IT之旅 ”， 选择“ 星标 ”， 重磅干货，第一 时间送达！ 在分布式系统，尤其是微服务系统中，一次外部请求往往需要内部多个模块，多个中间件，多台机器...
【Dubbo3高级特性】「框架与服务」RPC全链路调用追踪参数传递（OpenTracing）
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
11-05 1047
上下文信息是RPC框架很重要的一个功能，使用RpcContext可以为单次调用指定不同配置。如分布式链路追踪场景，其实现原理就是在全链路的上下文中维护一个traceId，Consumer和Provider通过传递traceId来连接一次RPC调用，分别上报日志后可以在追踪系统中串联并展示完整的调用流程，这样可以更方便地发现异常，定位问题。
Dubbo日志链路追踪TraceId选型
zlt2000的博客
09-27 1429
一、目的 开发排查系统问题用得最多的手段就是查看系统日志，但是在分布式环境下使用日志定位问题还是比较麻烦，需要借助 全链路追踪ID 把上下文串联起来，本文主要分享基于 Spring Boot + Dubbo 框架下 日志链路追踪ID 的实现方案选型思路。   目前大多数分布式追踪系统的思想模型都来自 Google's Dapper 论文 全链路追踪的核心思想： 为每条请求都单独分配一个唯一的 traceId 用来标识一条请求链路，该 traceId 会贯穿整个请求处理过程的所有服务.
dubbo分布式日志调用链追踪
m0_67403188的博客
09-02 924
要解决上面的问题，可以在请求入口（比如上图中的网关模块gateway，甚至web/h5/app都可以）针对每一个请求生成一个requestId，后面整个执行链路中都带着这个requestId，利用这个requestId可以把整个过程中打出的相关日志连成一个串。当出现问题之后，在任意模块根据关键字找出requestId，如果相关模块部署在同一台机器上，可以利用tail -f 日志文件1.log 日志文件2.log 日志文件3.log |grep 'requestId的值'
TLog是一个轻量级的分布式日志标记追踪神器
06-09
TLog是一个轻量级的分布式日志标记追踪神器，10分钟即可接入，自动对日志打标签完成微服务的链路追踪。支持log4j，log4j2，logback三大日志框架，支持dubbo，dubbox，springcloud三大RPC框架
dubbo traceid
01-10
应项目需要，在不改变dubo底层的源码的情况下，实现traceid的穿透，达到在分布式的微服务情况下，实现通过全局唯一id实现整个服务链路的追踪和日志的统一处理。
TLog分布式日志标记追踪器-其他
06-11
通过对日志打标签完成轻量级微服务日志追踪 提供三种接入方式：javaagent完全无侵入接入，字节码一行代码接入，基于配置文件的接入 对业务代码无侵入式设计，使用简单，10分钟即可接入 支持常见的log4j，log4j2，...
string模拟实现
m0_73969414的博客
04-23 827
c++中string的模拟实现，面试必会知识点
【1524】java投票管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目
qq_251836457的博客
04-18 855
2、开发环境为TOMCAT7.0,Myeclipse8.5开发，数据库为Mysql5.0，使用java语言开发。(5)投票选项管理：对投票选项信息进行添加、删除、修改和查看。(6)投票记录管理：对投票记录信息进行添加、删除、修改和查看。(1)管理员管理：对管理员信息进行添加、删除、修改和查看。(2)用户管理：对用户信息进行添加、删除、修改和查看。(3)公告管理：对公告信息进行添加、删除、修改和查看。(4)投票管理：对投票信息进行添加、删除、修改和查看。4）投票浏览查看、查看投票、投票记录。
PageHelper实现分页查询
m0_63849044的博客
04-24 650
这行代码是在使用 MyBatis Generator (MBG) 或类似的 MyBatis 工具生成的代码来构建查询条件。（可能是MyBatis的Mapper接口）来执行基于前面定义的查询条件的查询，并获取结果列表。实例之后会被用来设置各种查询条件，如字段的等于、不等于、大于、小于、模糊查询等。实体类生成的辅助类，它通常包含了一些静态内部类和方法，用于构建查询条件。在MyBatis中，这样的对象通常用于构建查询条件。对象，可能用于作为查询条件）。的一个内部类，用于定义查询的具体条件。
Lambda表达式特点
最新发布
weixin_57763462的博客
04-24 317
**API 设计**：Lambda 表达式鼓励使用函数式接口的设计模式，这改变了 Java 库的设计，例如 `java.util.function` 包下的一系列函数式接口。- **函数式编程**：Lambda 表达式引入了函数式编程的理念，使得 Java 更接近于函数式编程语言，如 Scala 和 Clojure。- **并发编程**：Lambda 表达式与 Java 8 新增的 Stream API 结合使用，可以简化并发编程，特别是与集合的操作相关。
javaweb-SpringBoot基础
kussm_的博客
04-20 1096
Spring的官网(Spring的简介：Spring makes Java simple。Spring Boot 可以帮助我们非常快速的构建应用程序、简化开发、提高效率。创建一个子包controller。
camel dubbo
03-28
Camel Dubbo是一种用于集成Apache Camel和Apache Dubbo的框架。Apache Camel是一个开源的企业级集成框架，它提供了丰富的组件和模式，用于构建灵活、可扩展的集成解决方案。而Apache Dubbo是一个高性能的分布式服务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值