Zipkin链路追踪

最新推荐文章于 2024-09-03 07:00:00 发布
最新推荐文章于 2024-09-03 07:00:00 发布
阅读量653 收藏 2
点赞数 1
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CuiGongZi/article/details/129592210
版权

Zipkin链路追踪技术分享

  1. 什么是Zipkin

        Zipkin 是 Twitter 的一个开源项目，它基于 Google Dapper 实现，它致力于收集服务的定时数据，以 解决微服务架构中的延迟问题，包括数据的收集、存储、查找和展现。 我们可以使用它来收集各个服务 器上请求链路的跟踪数据，并通过它提供的 REST API 接口来辅助我们查询跟踪数据以实现对分布式系 统的监控程序，从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。除了面向开发 的 API 接口之外，它也提供了方便的 UI 组件来帮助我们直观的搜索跟踪信息和分析请求链路明细，比 如：可以查询某段时间内各用户请求的处理时间等。 Zipkin 提供了可插拔数据存储方式：InMemory、MySql、Cassandra 以及 Elasticsearch。

扩展:Google Dapper是什么?

        Dapper是谷歌内部使用的分布式链路追踪系统，虽然没有开源，但是Google在其2010年发布的一篇论文中对其进行了详细的介绍。可以说，Dapper是链路追踪领域的始祖，其提出的概念和理念一致影响着后来所有的分布式系统链路追踪系统，包括阿里的鹰眼系统，大众点评的cat系统，Twitter的Zipkin以及开源的Jaeger等等。

  1. 设计初衷及应用场景

        现代的大型应用系统一般是复杂的分布式系统，他们由许多的软件模块构成，这些软件模块可能由不同的团队用不同的编程语言编写而成，因此那些传统的用于理解系统行为，分析性能问题的工具，在这种复杂环境下变得失效。

  1. Zipkin的核心组件
  1. Collector：收集器组件，它主要用于处理从外部系统发送过来的跟踪信息，将这些信息转换为 Zipkin 内部处理的 Span 格式，以支持后续的存储、分析、展示等功能。
  2. Storage：存储组件，它主要对处理收集器接收到的跟踪信息，默认会将这些信息存储在内存中， 我们也可以修改此存储策略，通过使用其他存储组件将跟踪信息存储到数据库中。
  3. RESTful API：API 组件，它主要用来提供外部访问接口。比如给客户端展示跟踪信息，或是外接 系统访问以实现监控等。
  4. Web UI：UI 组件，基于 API 组件实现的上层应用。通过 UI 组件用户可以方便而有直观地查询和 分析跟踪信息。

Zipkin 分为两端，一个是 Zipkin 服务端，一个是 Zipkin 客户端，客户端也就是微服务的应用。

  1. Zipkin中的术语
  • Span：基本工作单元，
  • 那么Span中都有什么呢?

{

      "traceId": "bd7a977555f6b982",(标记一次请求的跟踪，相关的Spans都有相同的traceId)

      "name": "get-traces",(span的名称，一般是接口方法的名称)

      "id": "ebf33e1a81dc6f71",(Span的id)

      "parentId": "bd7a977555f6b982",(上一个span的id)

      "timestamp": 1458702548478000,(开始的时间戳,微秒级)

      "duration": 354374,(持续时间,微秒级)

      "annotations": [

        {

          "endpoint": {

            "serviceName": "zipkin-query",

            "ipv4": "192.168.1.2",

            "port": 9411

          },

          "timestamp": 1458702548786000,

          "value": "cs"

        }

      ],

      "binaryAnnotations": [(二进制注释，旨在提供有关RPC的额外信息)

        {

          "key": "lc",

          "value": "JDBCSpanStore",

          "endpoint": {

            "serviceName": "zipkin-query",

            "ipv4": "192.168.1.2",

            "port": 9411

          }

        }

      ]

}                 

如下图：

    刚发起调用时traceId和spanId是一致，parentId不存在。         被调用者的traceId和调用者的traceId时一致的，被调用者会产生自己的spanId，并且被调用者的parentId是调用者的spanId

  • Trace(追溯)：一系列spans组成的一个树状结构，例如，如果你正在跑一个分布式大数据工程，你可能需要创建一个trace。
  • Annotation：用来及时记录一个事件的存在，一些核心annotations用来定义一个请求的开始和结束 
    • cs - Client Sent -客户端发起一个请求，这个annotion描述了这个span的开始
    • sr - Server Received -服务端获得请求并准备开始处理它，如果将其sr减去cs时间戳便可得到网络延迟
    • ss - Server Sent -注解表明请求处理的完成(当请求返回客户端)，如果ss减去sr时间戳便可得到服务端需要的处理请求时间
    • cr - Client Received -表明span的结束，客户端成功接收到服务端的回复，如果cr减去cs时间戳便可得到客户端从服务端获取回复的所有所需时间 

下面一张大图能够清晰展示其中的关系和事件

        Reporter:将数据发送到Zipkin的仪器化应用程序中的组件;有三个主要的传输方式：HTTP, Kafka和Scribe；

        然后才是上面提到的Zipkin客户端的收集器等

  1. 安装与使用

官方提供了多种安装方式

官网： Quickstart · OpenZipkin

一.docker安装启动

docker run -d -p 9411:9411 openzipkin/zipkin

  • jar包启动(jdk1.8以上,默认端口9411)

java -jar zipkin-server-2.24.0-exec.jar

 

        如果端口被占用,也可切换端口 java -jar zipkin-server-2.24.0-exec.jar --server.port=8080

启动之后我们就可以直接通过路径访问Zipkin的页面

  • 如何使用

        通过jar方式,已经把Zipkin服务器启动了,下面需要启动客户端,

         客户端:服务的生产者及服务的调用者：

        服务的生产者、调用者是相对的，两者之间可以互相调用，即可以同时作为生产者和调用者，两者都是Eureka Client；

        两者都要注册到注册中心上，这样才可以相互可见，才能通过服务名来调用指定服务，才能使用Feign或RestTemplate+Ribbon来达到负载均衡

及两者都要注册到Zipkin服务器上，这样Zipkin才能追踪服务的调用链路

1.准备

        准备两个项目:op-aouth和op-basic,在basic项目中调用查询人员基本信息接口通过Feign,再调用aouth中的服务

  1. 服务中的配置

添加mvn

<dependency>

    <groupId>org.springframework.cloud</groupId>

    <artifactId>spring-cloud-starter-zipkin</artifactId>

</dependency>

添加配置

spring.zipkin.base-url=http://localhost:9411

spring.sleuth.sampler.percentage=1

注:base-url不配置的话,是默认向9411端口注册的

 

  1. 启动服务

        启动顺序：注册中心（可选）->Zipkin服务器->服务生产者及调用者(op-aouth和op-basic)

        顺利启动后,就可在Zipkin的web页面看到注册进来的服务

这是我们就可以调用一个接口,对接口进行追踪

        我们可以看到,这个接口整个的链路,以及每一步所使用的时间,就可以有针对性代码优化

  1. 更改通信方式

        Zipkin默认是http的通信方式,在发生问题的,就可能造成数据丢失,生产环境一般是需要添加MQ来辅助

        Zipkin是支持MQ的,从jar中就可以看出

 

zipkin.jar中的yml配置可以参考：        https://github.com/openzipkin/zipkin/blob/master/zipkin-server/src/main/resources/zipkin-server-shared.yml

也可指定MQ的地址

java -jar zipkin-server-2.24.0-exec.jar --zipkin.collector.rabbitmq.addresses=192.168.8.215:5672

MQ访问页面:192.168.8.215:15672

客户端也配置上MQ

spring.zipkin.sender.type=rabbit

spring.zipkin.rabbitmq.addresses=192.168.8.215

 

加了MQ之后，通信过程如下图所示

可以看到如下效果：

        当ZipkinServer不可用时（比如关闭、网络不通等），追踪信息不会丢失，因为这些信息会保存在Rabbitmq服务器上，直到Zipkin服务器可用时，再从Rabbitmq中取出这段时间的信息

看一下效果

 

  1. Zipkin数据持久化

        这时候我们看到的所有数据,都是存在内存中,在实际生产中,数据肯定是要进行持久化的

        所以,前面也说到,Zipkin支持多种数据库,下面以mysql为例

        命令看着很长，其实仔细看发现很简单，都是见名知义，不必死记硬背。

java -jar zipkin-server-2.24.0-exec.jar --zipkin.collector.rabbitmq.addresses=192.168.8.215:5672 --zipkin.storage.type=mysql --zipkin.storage.mysql.host=192.168.8.21 --zipkin.storage.mysql.port=3306 --zipkin.storage.mysql.username=***** --zipkin.storage.mysql.password=****** --zipkin.storage.mysql.db=op_basic

还需要创建一下几张表

CREATE TABLE IF NOT EXISTS zipkin_spans ( `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit', `trace_id` BIGINT NOT NULL, `id` BIGINT NOT NULL, `name` VARCHAR(255) NOT NULL, `remote_service_name` VARCHAR(255), `parent_id` BIGINT, `debug` BIT(1), `start_ts` BIGINT COMMENT 'Span.timestamp(): epoch micros used for endTs query and to implement TTL', `duration` BIGINT COMMENT 'Span.duration(): micros used for minDuration and maxDuration query', PRIMARY KEY (`trace_id_high`, `trace_id`, `id`) ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci; ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTracesByIds'; ALTER TABLE zipkin_spans ADD INDEX(`name`) COMMENT 'for getTraces and getSpanNames'; ALTER TABLE zipkin_spans ADD INDEX(`remote_service_name`) COMMENT 'for getTraces and getRemoteServiceNames'; ALTER TABLE zipkin_spans ADD INDEX(`start_ts`) COMMENT 'for getTraces ordering and range'; CREATE TABLE IF NOT EXISTS zipkin_annotations ( `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit', `trace_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.trace_id', `span_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.id', `a_key` VARCHAR(255) NOT NULL COMMENT 'BinaryAnnotation.key or Annotation.value if type == -1', `a_value` BLOB COMMENT 'BinaryAnnotation.value(), which must be smaller than 64KB', `a_type` INT NOT NULL COMMENT 'BinaryAnnotation.type() or -1 if Annotation', `a_timestamp` BIGINT COMMENT 'Used to implement TTL; Annotation.timestamp or zipkin_spans.timestamp', `endpoint_ipv4` INT COMMENT 'Null when Binary/Annotation.endpoint is null', `endpoint_ipv6` BINARY(16) COMMENT 'Null when Binary/Annotation.endpoint is null, or no IPv6 address', `endpoint_port` SMALLINT COMMENT 'Null when Binary/Annotation.endpoint is null', `endpoint_service_name` VARCHAR(255) COMMENT 'Null when Binary/Annotation.endpoint is null' ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci; ALTER TABLE zipkin_annotations ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `span_id`, `a_key`, `a_timestamp`) COMMENT 'Ignore insert on duplicate'; ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`, `span_id`) COMMENT 'for joining with zipkin_spans'; ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTraces/ByIds'; ALTER TABLE zipkin_annotations ADD INDEX(`endpoint_service_name`) COMMENT 'for getTraces and getServiceNames'; ALTER TABLE zipkin_annotations ADD INDEX(`a_type`) COMMENT 'for getTraces and autocomplete values'; ALTER TABLE zipkin_annotations ADD INDEX(`a_key`) COMMENT 'for getTraces and autocomplete values'; ALTER TABLE zipkin_annotations ADD INDEX(`trace_id`, `span_id`, `a_key`) COMMENT 'for dependencies job'; CREATE TABLE IF NOT EXISTS zipkin_dependencies ( `day` DATE NOT NULL, `parent` VARCHAR(255) NOT NULL, `child` VARCHAR(255) NOT NULL, `call_count` BIGINT, `error_count` BIGINT, PRIMARY KEY (`day`, `parent`, `child`) ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;

下面看看效果

6配置参数含义

https://www.dandelioncloud.cn/article/details/1592875941275815938

CatServer
关注
Zipkin 服务链路追踪
gmHappy
01-06 1170
一、Zipkin 简介 Zipkin 是一个开放源代码分布式的跟踪系统，每个服务向zipkin报告计时数据，zipkin会根据调用关系通过Zipkin UI生成依赖关系图。 Zipkin提供了可插拔数据存储方式：In-Memory、MySql、Cassandra以及Elasticsearch。为了方便在开发环境我直接采用了In-Memory方式进行存储，生产数据量大的情况则推荐使用Elasticsearch。 二、Zipkin 基本术语 Span 基本工作单元，例如，在一个新建的span中发送一个RPC
微服务 Zipkin 链路追踪原理(图文详解)
mikechen的互联网架构
10-25 1393
一个看起来很简单的应用，可能需要数十或数百个服务来支撑，一个请求就要多次服务调用。当请求变慢、或者不能使用时，我们是不知道是哪个后台服务引起的。这时，我们使用Zipkin 就能解决这个问题。
链路追踪zipkin
weixin_57128596的博客
10-07 921
链路追踪主要用于分布式系统，服务出现级联调用，能够提供调用的时间且能结算出网络延迟时间——>将服务还原成链路链路数据模型有三个点一个完整的链路，用的是我们的雪花算法一次调用完整的过程（开始时间和结束时间）父节点id。
Java后端全链路追踪：Zipkin与SkyWalking
最新发布
微赚淘客系统开发者博客
09-03 945
在现代的微服务架构中，服务之间的调用关系错综复杂，一旦发生故障，快速定位问题源头成为了一项挑战。本文将介绍两种流行的Java后端全链路追踪工具：Zipkin和SkyWalking，并展示如何在Java项目中集成它们。Zipkin和SkyWalking作为两种优秀的追踪工具，各有特点，开发者可以根据项目需求和团队熟悉度来选择适合的工具进行集成。因此，在实际应用中，需要权衡追踪的粒度和性能损耗。SkyWalking是一个国产的APM（应用性能管理）工具，除了全链路追踪，还提供了服务、实例、端点的监控。
zipkin链路追踪
weixin_45526912的博客
12-20 417
○ Span：代表系统中具有开始时间和执⾏时⻓的逻辑运⾏单元，Span之间通过嵌套或者顺序排。○ OpenTracing 提供⽆关平台的API，⽅便开发⼈员添加或更换链路追踪⽅案。○ 微服务场景，可以将分布式各服务间的流转进⾏跟踪记录，形成分布式服务的调⽤链路。○ Tags：每个span可以有多个键值对形式的标签，⽤于记录参数等数据。○ 可以将项⽬的执⾏情况与效率进⾏量化统计，⽅便接⼝的性能优化。○ 根据服务异常情况、相应时间等指标，便于判断服务的健康情况。○ 便于梳理服务间的依赖，以及依赖的合理性。
链路追踪工具之Zipkin
qiaotl的博客
01-10 2018
通过实际例子介绍如何通过Zipkin完成链路追踪
SpringCloud分布式微服务链路追踪方案：Zipkin
lucky_fd的博客
06-24 2047
Zipkin 是一个分布式追踪系统，主要用于收集、存储、处理和展示微服务架构中的链路数据。它帮助开发者分析和排查分布式系统中的性能问题，提供完整的请求路径视图。. 在微服务架构中，一个用户请求可能会涉及多个微服务的调用。每个微服务都有可能运行在不同的主机或容器中，传统的日志和监控系统难以提供完整的请求链路视图。而Zipkin能够帮助开发者： 快速定位问题：通过完整的请求路径视图，开发者可以快速找到导致请求延迟或错误的具体服务和代码位置。 优化系统性能：通过分析请求的延迟数据，开发者可以识别系统中的性能瓶颈
springcloud：Zipkin链路追踪demo源码案例演示
07-23
springcloud：Zipkin链路追踪demo源码案例演示
Zipkin实现分布式链路追踪
weixin_55258513的博客
02-20 301
Zipkin实现分布式链路追踪
链路追踪Zipkin
zhanglong_longlong的专栏
10-13 171
介绍 Zipkin是一个分布式跟踪系统，用来收集微服务架构中的时序数据以用于调用链分析。Zipkin提供了In-Memory、MySql、Elasticsearch等存储方式。 安装配置 服务端安装 开发环境中，我们可以安装一个In-Memory的Zipkin docker run -d -p 9411:9411 openzipkin/zipkin 安装完成后打开：http://localhost:9411/zipkin/可见： .NET下的使用 Install-Package zi.
Sleuth(Micrometer)+ZipKin分布式链路追踪
qq_62646841的博客
03-07 1660
springboot3之前还可以用sleuth，springboot3之后就被Micrometer所替代官网https://github.com/spring-cloud/spring-cloud-sleuth。
ZipKin分布式链路追踪
IT深耕十余载，大道之简
07-01 700
概念：在微服务框架中，一个由客户端发起的请求在后端系统中会经过多个不同的服务节点调用来协同产生最后的请求结果。每一个前端请求都会形成一条复杂的分布式服务调用链路，链路中的任何一环出现高延时或错误都会引起整个请求最后的失败。目标：在大规模分布式与微服务集群下，实现快速的问题发现与定位、故障影响范围的判断、服务依赖关系的梳理，以及系统调用链路性能与瓶颈点的分析。作用。
链路追踪zipkin+slueth
程序员
04-03 218
1、引入依赖 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-zipkin</artifactId> <version>2.2.7.RELEASE</version> </depen.
基于 Zipkin的链路追踪
qq_39586619的博客
04-20 2149
Zipkin介绍： Zipkin 是 Twitter 的一个开源项目，它基于 Google Dapper 实现，它致力于收集服务的定时数据， 以 解决微服务架构中的延迟问题，包括数据的收集、存储、查找和展现。 我们可以使用它来收集各个服务器 上请求链路的跟踪数据，并通过它提供的 REST API 接口来辅助我们查询跟踪数据以实现对分布式系 统的监控程序， 从而及时地发现系统中出现的延迟升高问题...
六、链路跟踪：Sleuth和Zipkin
Carson073的博客
11-01 261
微服务结构是一个分布式架构，微服务系统按照业务划分服务单元，一个微服务系统往往有很多个服务单元。由于服务单元数量众多，服务单元之间的调用很复杂，一旦出现错误和异常，很难去定位。所以在微服务架构中必须实现分布式服务链路追踪。目前，常见的链路追踪组件有Google的Dapper，Twitter的Zipkin，以及阿里的Eagleeye（鹰眼）等，它们都是非常优秀的链路追踪开源组件。 应用场景：一个...
SpringBoot集成ZipKin实现链路跟踪
长沙老码农
02-17 4953
​ 当我们的服务器成千上万，当我们的模块上万成千，当我们的调用链路复杂如蜘蛛网时，我们突然发现一个小小的性能问题却不能快速定位到点！千万不要以为自己是神，当年那个觉得ELK日志分析系统多余的程序员已经被老板祭天！​ 废话有点多，今天我们要做的一件事非常简单，如何在一个多层调用的接口里快速查看它们的网络拓扑图并得到监控数据!
sleuth与zipkin服务链路追踪
yunli0的博客
07-21 369
sleuth与zipkin服务链路追踪一.笔记1、为什么用2、基本术语3、整合 Sleuth3.1.服务提供者与消费者导入依赖3.2.打开 debug 日志3.3.发起一次远程调用，观察控制台4、整合 zipkin 可视化观察4.1.docker 安装 zipkin 服务器4.2.导入zipkin依赖4.3.添加 zipkin 相关配置4.3.1发送远程请求，测试 zipkin。5、Zipkin 数据持久化二.1. 一.笔记 百度云笔记 提取码1111 https://pan.baidu.com/s/1XN
Spring Boot应用监控实战
weixin_34273481的博客
05-02 221
概述 在前面：微服务调用链追踪中心搭建 一文中我们利用Zipkin搭建了一个微服务调用链的追踪中心，并且模拟了微服务调用的实验场景。利用Zipkin的库Brave，我们可以收集一个客户端请求从发出到被响应 经历了哪些组件、哪些微服务、请求总时长、每个组件所花时长 等信息。 本文将讲述如何利用Zipkin对Mysql数据库的调用进行追踪，这里同样借助OpenZipkin库Brave来完成。 注：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值