简述分布式跟踪系统实现原理

问题来源

互联网项目通常都是大用户量,大并发,因此从技术架构上大多采用分布式架构构建成大型分布式系统,SOA或者是微服务,一个请求涉及到多个子系统,如果某个请求的处理不正常,怎么排查定位问题呢?如果没有合适的手段,排查问题无异大海捞针,为了提高解决问题的效率,迫切需要有一个技术手段能跟踪整个处理环节,并能够快速定位。一种可行的方案就是跟踪这个调用链,把每次请求的完整处理环节串联起来,这样就可以实现对调用路径的全程监控。

技术实现要点

采用日志埋点技术,在请求的处理入口处为该次请求分配一个TraceId(跟踪Id),将此TraceId依次传递给下一个处理环节,在每一个处理环节记录日志,通过这个TraceId就可以查询到从起始到处理完毕整个处理路径中的日志信息。

埋点日志记录的内容

TraceId、RPCId、调用的开始时间,调用类型,协议类型,调用方ip和端口,请求的服务名等信息;

调用耗时,调用结果,异常信息,消息报文等;

预留可扩展字段,为将来的扩展做预留;

记录内容可以根据业务的需要详细设计,原则就是要方便将来排查定位问题。

收集查询的实现

把埋点日志数据收集起来,再搭建一个查询系统就可以方便定位问题了,简单的查询分析系统可以采用ELK(Elasticsearch + Logstash + Kibana)来搭建。

参考文献,谷歌的Dapper论文:https://bigbully.github.io/Dapper-translation

转载于:https://www.cnblogs.com/aiandbigdata/p/10046983.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
分布式文件系统(Distributed File System,简称DFS)是一能够将文件存储在多个计算机节点上的文件系统。其结构一般包含以下几个主要组件: 1. 元数据服务器(Metadata Server):负责存储文件系统的元数据,包括文件名、大小、权限等信息。元数据服务器维护整个文件系统的目录结构,并记录文件在存储节点上的位置。 2. 存储节点(Storage Node):是实际存储文件数据的计算机节点。存储节点负责接收和存储文件块,以及根据元数据服务器的指示,提供文件读取和写入的功能。 3. 客户端(Client):是用户或应用程序与分布式文件系统进行交互的接口。客户端通过与元数据服务器通信来获取文件的位置信息,并与存储节点直接进行数据读写操作。 4. 块服务(Block Service):用于处理文件的分块和分发。文件通常被分成固定大小的块,并在多个存储节点上进行冗余存储,以提高可靠性和性能。 5. 一致性协议(Consistency Protocol):用于确保分布式文件系统的一致性。一致性协议定义了多个节点之间的数据同步和一致性维护机制,以防止数据丢失或不一致的情况发生。 以上是一种常见的分布式文件系统结构,不同的分布式文件系统可能会有一些差异和额外的组件。整体而言,分布式文件系统通过将文件数据和元数据分散存储在多个节点上,提供了高可用性、可扩展性和容错性的存储解决方案。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值