spring cloud 微服务日志跟踪 sleuth logback elk 整合

最新推荐文章于 2024-02-15 03:05:05 发布
最新推荐文章于 2024-02-15 03:05:05 发布
阅读量560 收藏
点赞数
文章标签： java 大数据 数据库
原文链接：http://www.cnblogs.com/zhyg/p/9167425.html
版权

看过我之前的文章的就可以一步一步搭建起日志传输到搜索引擎 不知道的 看下之前的文章 

(1) 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引

(2)关于” 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引” 这篇博客相关的优化采坑记录

(3)日志收集（ElasticSearch）串联查询 MDC

这里我们结合sleuth 可以降服务之间的调用使用唯一标识串联起来已达到我们通过一个标识可以查看所有跨服务调用的串联日志，与上一篇 的MDC不同

sleuth 简单原理说下

　　就是在最初发起调用者的时候在请求头head中添加唯一标识传递到直接调用的服务上面

　　然后之后的服务做类似的操作

好了 不多比比了

上代码

首先所有的服务或spring boot项目都引入以下包

    　　<dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-sleuth</artifactId>
        </dependency>
    　　<dependency>
            <groupId>com.cwbase</groupId>
            <artifactId>logback-redis-appender</artifactId>
            <version>1.1.5</version>
        </dependency>

一个是传输redis使用一个是调用链跟踪使用

下面是logback配置文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">
    <include resource="org/springframework/boot/logging/logback/base.xml" />
    <!-- <jmxConfigurator/> -->
    <contextName>logback</contextName>

    <property name="log.path" value="\logs\logback.log" />

    <property name="log.pattern"
        value="%d{yyyy-MM-dd HH:mm:ss.SSS} -%5p ${PID} --- traceId:[%X{mdc_trace_id}] [%15.15t] %-40.40logger{39} : %m%n" />

    <appender name="file"
        class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}</file>

        <encoder>
            <pattern>${log.pattern}</pattern>
        </encoder>

        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

            <fileNamePattern>info-%d{yyyy-MM-dd}-%i.log
            </fileNamePattern>

            <timeBasedFileNamingAndTriggeringPolicy
                class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">

                <maxFileSize>10MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
            <maxHistory>10</maxHistory>
        </rollingPolicy>

    </appender>

    <appender name="redis" class="com.cwbase.logback.RedisAppender">

        <tags>test</tags>
        <host>IP</host><!--redis IP-->
        <port>6379</port><!--redis端口-->
        <key>test</key><!--redis队列名称-->
        <!-- <mdc>true</mdc> -->
        <callerStackIndex>0</callerStackIndex>
        <location>true</location>
        
         <additionalField>
            <key>X-B3-ParentSpanId</key>
            <value>@{X-B3-ParentSpanId}</value>
        </additionalField>
         <additionalField>
            <key>X-B3-SpanId</key>
            <value>@{X-B3-SpanId}</value>
        </additionalField>
         <additionalField>
            <key>X-B3-TraceId</key>
            <value>@{X-B3-TraceId}</value>
        </additionalField>
    </appender>
    
    <root level="info">
        <!-- <appender-ref ref="CONSOLE" /> -->
        <!-- <appender-ref ref="file" /> -->
        <!-- <appender-ref ref="UdpSocket" /> -->
        <!-- <appender-ref ref="TcpSocket" /> -->
        <appender-ref ref="redis" />
    </root>

    <!-- <logger name="com.example.logback" level="warn" /> -->

</configuration>

与之前的logback.xml配置文件相比主要更改一下内容

　　　　　<additionalField>
            <key>X-B3-ParentSpanId</key>
            <value>@{X-B3-ParentSpanId}</value>
        </additionalField>
         <additionalField>
            <key>X-B3-SpanId</key>
            <value>@{X-B3-SpanId}</value>
        </additionalField>
         <additionalField>
            <key>X-B3-TraceId</key>
            <value>@{X-B3-TraceId}</value>
        </additionalField>

一会在详细解释上述三个字段含义 下面先看项目目录结构 

 

一个父工程（pom工程）三个spring boot子项目 子项目调用关系如下

三个子项目代码如下 

spring-cloud-client-test工程结构及代码

 

 

 1 package application;
 2 
 3 import org.slf4j.Logger;
 4 import org.slf4j.LoggerFactory;
 5 import org.springframework.beans.factory.annotation.Autowired;
 6 import org.springframework.boot.SpringApplication;
 7 import org.springframework.boot.autoconfigure.EnableAutoConfiguration;
 8 import org.springframework.boot.autoconfigure.SpringBootApplication;
 9 import org.springframework.cloud.netflix.feign.EnableFeignClients;
10 import org.springframework.web.bind.annotation.GetMapping;
11 import org.springframework.web.bind.annotation.RestController;
12 
13 @EnableAutoConfiguration
14 @EnableFeignClients
15 @RestController
16 @SpringBootApplication
17 public class ClientTestApplication {
18     protected final static Logger logger = LoggerFactory.getLogger(ClientTestApplication.class);
19 
20     public static void main(String[] args) {
21         SpringApplication.run(ClientTestApplication.class, args);
22     }
23     
24     @Autowired
25     servertest server;
26     
27     @GetMapping("/client")
28     public String getString(){
29         logger.info("开始调用服务端");
30         return server.getString();
31     }
32     @GetMapping("/client1")
33     public String getString1(){
34         logger.info("开始调用服务端1");
35         return server.getString1();
36     }
37 }
 1 package application;
 2 
 3 import org.springframework.cloud.netflix.feign.FeignClient;
 4 import org.springframework.http.MediaType;
 5 import org.springframework.web.bind.annotation.RequestMapping;
 6 import org.springframework.web.bind.annotation.RequestMethod;
 7 
 8 @FeignClient("SPRING-CLOUD-SERVER-TEST")
 9 public interface servertest {
10     @RequestMapping(value = "/server", method = RequestMethod.GET, consumes = MediaType.APPLICATION_JSON_VALUE, produces = MediaType.APPLICATION_JSON_VALUE)
11     public String getString();
12     @RequestMapping(value = "/server1", method = RequestMethod.GET, consumes = MediaType.APPLICATION_JSON_VALUE, produces = MediaType.APPLICATION_JSON_VALUE)
13     public String getString1();
14 }

spring-cloud-server-test工程及代码结构

 1 package application;
 2 
 3 import org.slf4j.Logger;
 4 import org.slf4j.LoggerFactory;
 5 import org.springframework.beans.factory.annotation.Autowired;
 6 import org.springframework.boot.SpringApplication;
 7 import org.springframework.boot.autoconfigure.EnableAutoConfiguration;
 8 import org.springframework.boot.autoconfigure.SpringBootApplication;
 9 import org.springframework.cloud.netflix.feign.EnableFeignClients;
10 import org.springframework.web.bind.annotation.GetMapping;
11 import org.springframework.web.bind.annotation.RestController;
12 
13 @EnableAutoConfiguration
14 @EnableFeignClients
15 @RestController
16 @SpringBootApplication
17 public class ServerTestApplication {
18     protected final static Logger logger = LoggerFactory.getLogger(ServerTestApplication.class);
19 
20     public static void main(String[] args) {
21         SpringApplication.run(ServerTestApplication.class, args);
22     }
23     
24     @Autowired
25     servertest server;
26     
27     @GetMapping("/server")
28     public String getString(){
29         logger.info("接收客户端的调用");
30         return server.getString();
31     }
32     @GetMapping("/server1")
33     public String getString1(){
34         logger.info("接收客户端的调用1");
35         return server.getString1();
36     }
37 }
 1 package application;
 2 
 3 import org.springframework.cloud.netflix.feign.FeignClient;
 4 import org.springframework.http.MediaType;
 5 import org.springframework.web.bind.annotation.RequestMapping;
 6 import org.springframework.web.bind.annotation.RequestMethod;
 7 
 8 @FeignClient("SPRING-CLOUD-SERVER1-TEST")
 9 public interface servertest {
10     @RequestMapping(value = "/server", method = RequestMethod.GET, consumes = MediaType.APPLICATION_JSON_VALUE, produces = MediaType.APPLICATION_JSON_VALUE)
11     public String getString();
12     @RequestMapping(value = "/server1", method = RequestMethod.GET, consumes = MediaType.APPLICATION_JSON_VALUE, produces = MediaType.APPLICATION_JSON_VALUE)
13     public String getString1();
14 }

spring-cloud-server1-test工程及代码结构

 1 package application;
 2 
 3 import org.slf4j.Logger;
 4 import org.slf4j.LoggerFactory;
 5 import org.springframework.boot.SpringApplication;
 6 import org.springframework.boot.autoconfigure.SpringBootApplication;
 7 import org.springframework.web.bind.annotation.GetMapping;
 8 import org.springframework.web.bind.annotation.RestController;
 9 
10 
11 @RestController
12 @SpringBootApplication
13 public class Server1TestApplication {
14     protected final static Logger logger = LoggerFactory.getLogger(Server1TestApplication.class);
15 
16     public static void main(String[] args) {
17         SpringApplication.run(Server1TestApplication.class, args);
18     }
19     
20     
21     @GetMapping("/server")
22     public String getString(){
23         logger.info("接收客户端的调用");
24         return "My is server";
25     }
26     @GetMapping("/server1")
27     public String getString1(){
28         logger.info("接收客户端的调用1");
29         return "My is server1";
30     }
31 }

好了 全部代码就是以上这些 下面看日志传输之后的效果

上图就是最后的结果

我们可以通过 X-B3-TraceId 串联所有的服务  这个值每次请求都不一样但是会随着调用链一直传递下去

X-B3-SpanId 这个值属于方法级别的值 也就是说 方法调用方法是父子级别的传递（方便调用跟踪）

X-B3-ParentSpanId 这个值就是上一个方法的X-B3-SpanId  我说的不是很明白大家可以查阅相关资料了解 

好了到这里就基本完成了

 

总结思考

使用sleuth我们可以很好的串联快服务的日志，结合MDC就可以出现很完美的调用流水查询但是我们要做到一次查询 要么做表达式筛选要么查询两次 。我们有没有办法将二者结合那，我想并不困难自己重写sleuth相关方法可以做到，但是我们要考虑这是有问题的，什么问题那 就是 同样的MDC key-value 调用 sleuth会变 但是MDC值不变  我们要融合成什么样子才能达到想要的目的的，这个就不好说了 ，通过表达式筛选已经很方便了还有么有必要这样做那，做了之后怎么避免副作用那！有待考究 

 

转载于:https://www.cnblogs.com/zhyg/p/9167425.html

dianhe7741
关注
一线大厂必问微服务系列——SpringCloudAlibaba整合Sleuth
m0_67698950的博客
07-04 350
这篇我们开始通过示例来演示链路追踪。既然是演示链路追踪，那么就需要有多个微服务之间进行调用，这里的项目也是在之间已经搭建好的基础上加上Sleuth组件，具体链路是这个的：从图中可以看出，这里一个完整的链路是 一个请求通过网关服务，然后转发到 订单微服务，然后订单微服务中会去调商品服务。所以这里涉及三个微服务 这三个服务都已经注册到nacos中，如图注意 这里不把所有代码都复制在这里，完整项目代码，会放到github上，在文章下方会提供地址。在需要进行链路追踪的项目中（服务网关、商品服务、订单服务）添加
Spring Cloud 链路追踪-日志收集
最新发布
qq_32569351的博客
08-24 507
spring-cloud 使用 RuoyiCloud 微服务版 演示 整合 skywalking 的logstash 插件 收集日志存储 elasticsearch 通过kibana 使用链路id查询日志
Spring Cloud Sleuth日志打印logback配置文件模板
rzpy_qifengxiaoyue的博客
09-09 2535
配置文件名称 logback-spring.xml <?xml version="1.0" encoding="UTF-8"?> <configuration> <property name="PROJECT" value="xxx-service"/> <property name="LOG_PATH" value="/logs/${PROJECT}/"/> <property name="maxHistory" val.
SpringCloud从入门到放弃之链路追踪三(Sleuth+Zipkin+Logback+ELK)
qq_33479841的博客
04-19 2889
1.概述 2.Sleuth+Zipkin+ELK整合 3.小结 4.参考文献 5.附录
SpringCloud Logback日志配置输出 sleuth 中的 span和traceid
z69183787的专栏
10-27 7948
springboot logback的源码分析请参考这篇，讲的很好：https://juejin.im/post/5cd0cdcc6fb9a0323120a3f4 一、日志常规配置 直接贴出logback-spring.xml，基本满足了对日志的常规需求： 1、控制台日志（带颜色显示） 2、全部日志文件（包括全别日志级别的日志，每天一个，自动压缩） 3、错误日志文件（仅抽取ERROR级别日志，每天一个，自动压缩） 说明： a. 日志存放目录需要在application.yml中配置: loggi.
SpringCloud alibaba中集成ELK
weixin_44454510的博客
10-08 248
在单体服务中我们需要查看日志只需直接在日志文件中 grep、awk 就可以获得自己想要的信息。但是在微服务架构中，不同的服务模块一般会部署多个节点，日志散落在多个节点的日志文件中。一旦出现问题，我们就需要登录不同的服务节点分别查看日志，非常之繁琐。所以在微服务架构中，我们是需要建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。
Spring Cloud Sleuth使用ELK收集&分析日志
铁根的博客
02-15 890
TIPS 本文基于Spring Cloud Greenwich Hoxton M2，理论兼容Spring Cloud所有版本。 应用整合 加依赖： <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-sleuth</artifactId> </dependency> .
SpringCloud学习之七：使用Spring Cloud Sleuth实现微服务跟踪
禁忌夜色153的博客
07-13 383
使用Spring Cloud Sleuth实现微服务跟踪 Spring Cloud版本：Hoxton.SR5 1. 简介 Spring Cloud Sleuth为Spring Cloud提供了分布式跟踪的解决方案，它大量借用了Google Dapper、Twitter Zipkin和Apache HTrace的设计。 Sleuth借用了Dapper的术语： span（跨度）：基本工作单元。span用一个64位的id唯一标识。除ID外，span还包含了其他数据，例如描述、时间戳事件、键值对的注解（标签
springcloud项目微服务日志链路追踪
感冒石头的博客
05-20 1611
解决问题：开发排查系统问题用得最多的手段就是查看系统日志，在分布式环境中一般使用ELK来统一收集日志，但是在并发大时使用日志定位问题还是比较麻烦，无法追踪整条线路日志 我们来看下面的图： ...
SpringCloud微服务架构实战：微服务治理
m0_63437643的博客
02-17 2305
微服务治理 Spring Cloud 工具套件为微服务治理提供了全面的技术支持。这些治理工具主要包括服务的注册与发现、负载均衡管理、动态路由、服务降级和故障转移、链路跟踪、服务监控等。微服务治理的主要功能组件如下： 注册管理服务组件Eureka,提供服务注册和发现的功能。 负载均衡服务组件Ribbon,提供负载均衡调度管理的功能。 边缘代理服务组件Zuul，提供网关服务和动态路由的功能。 断路器组件Hystrix,提供容错机制、服务降级、故障转移等功能。 聚合服务事件流组件Turbine，可用来
SLS-日志服务的集成(Java)
兮赫的博客
02-27 3094
配置 pom.xml依赖 ...
SpringCloud链路追踪组件Sleuth配置方法解析
08-19
主要介绍了SpringCloud链路追踪组件Sleuth配置方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
SpringBoot Logback配置，SpringBoot日志配置
04-27
NULL 博文链接：https://fanshuyao.iteye.com/blog/2414522
SpringCloudSleuth+zipkin实现服务追踪
01-27
SpringCloudSleuth实现了一种分布式的服务链路跟踪解决方案，通过使用Sleuth可以让我们快速定位某个服务的问题。一些概念：1.Span，Span是基本的工作单元。Span包括一个64位的唯一ID，一个64位trace码，描述信息，时间戳事件，key-value 注解(tags)，span处理者的ID（通常为IP）。 最开始的初始Span称为根span，此span中spanid和traceid值
spring cloud logback配置
wwwffy的博客
01-25 1745
&lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;configuration debug="false" scan="false"&gt;     &lt;springProperty scop="context" name="spring.application.name" source="
Spring Cloud Sleuth与ELK（日志分析系统）配合使用
unber的博客
12-16 548
​ 在《Spring Cloud使用Sleuth在应用中进行日志跟踪》教程中的案例，我们已经实现了服务调用之间的链路追踪，但是这些日志是分散在各个机器上的，就算出现问题了，我们想快速定位，也得从各个机器把日志整合起来，再去查问题。 ​
SpringCloud搭建微服务之Sleuth分布式请求链路跟踪
liu320yj的博客
10-04 899
Spring Cloud Sleuth是Spring Cloud提供的一套完整的用于分布式系统中服务跟踪解决方案，常用于微服务项目的实时监控和快速定位错误异常。Zipkin用于提供链路追踪的可视化功能，其实现原理是，在服务调用的请求和响应中加入ID，表明上下游请求的关系，利用这些信息，可以可视化地分析服务调用链路和服务间的依赖关系
logback和sleuth的配置和使用（SpringBoot）
小菜鸡叽叽叽
08-16 1521
Logback是SpringBoot内置的日志处理框架sleuth 可以解决分布式系统的追踪问题。
Sleuth+Zipkin+Logback实现链路追踪+持久化监控（超详细）
huahuo147的博客
11-02 448
accesslog追踪请求日志 applog追踪服务内部日志 response返回traceId用于debug zipkin用于监控
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值