分布式监控平台CAT原理

最新推荐文章于 2024-08-08 07:01:25 发布
最新推荐文章于 2024-08-08 07:01:25 发布
阅读量2.2k 收藏 8
点赞数 3
分类专栏： 分布式技术 文章标签： java 链路追踪 分布式链路追踪 服务治理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mnmlist/article/details/114293423
版权

文章目录

背景介绍

背景-无工具帮助时对系统认知

  • 什么样？
  • 在干什么？
  • 干的怎么样？
  • 如何干得更好？
  • 生病了如何发现？

背景-面临的问题

  • 快速发现和定位问题
  • 系统频繁FullGC导致系统超时
  • 系统存在内存泄露
  • 系统异常5分钟后收到报警邮件
  • 上线后快速浏览下系统状况

CAT简介

CAT简介-链路追踪框架对比

链路追踪框架对比

CAT简介

CAT(Central Application Tracking)
• 基于纯Java开发的分布式实时监控系统
• 分布式
• 实时 (毫秒)
• 近全量
• 高可用

CAT简介-快速发现

  • 系统大盘
  • 业务大盘
  • 报错大盘
CAT简介-快速发现-系统大盘

系统大盘

CAT简介-快速发现-业务大盘

业务大盘

CAT简介-快速发现-报错大盘

在这里插入图片描述

CAT简介-快速发现-报警

  • 业务报警
  • 性能报警
  • 应用报警
  • 心跳报警
CAT简介-快速发现-实时报警

在这里插入图片描述

CAT简介-如何实现？

  • 应用级监控
  • 系统级监控
  • 实时告警
CAT简介-Business报表

在这里插入图片描述

  • 统计
    • 多维度业务指标
  • 支持维度
    • 项目、指标名称、自定义tag
  • 数据来源
    • 来自API打点：
    • Cat.logMetricForCount 记录一个业务指标，主要衡量单位时间内的次数总和
    • Cat.logMetricForDuration 记录一个timer类的业务指标，主要衡量单位时间内平均值
CAT简介-Business报表

在这里插入图片描述

CAT简介-Transaction报表
  • 统计
    • 访问量、响应时间
  • 支持维度
    • 项目、IP、type、Name
  • 数据来源
    • API打点:Cat.newTransaction
    • 框架打点:MVC、RPC、SQL、Cache、MQ …
      在这里插入图片描述
CAT简介-Transaction报表

在这里插入图片描述

在这里插入图片描述

CAT简介-可视化Logview

在这里插入图片描述

CAT简介-Event报表
  • 统计
    • 出现次数
  • 支持维度
    • 项目、IP、type、Name
  • 数据来源
    • API打点: Cat.newEvent
    • 框架打点:MVC、RPC、SQL、Cache、MQ …
      在这里插入图片描述
CAT简介-Event报表

在这里插入图片描述
在这里插入图片描述

CAT简介-Problem报表
  • 统计
    • Exception、Failed Transaction、Long Http/Service/sql call
  • 支持维度
    • 项目、IP、异常分类、异常名
  • 数据来源
    • Transaction、event打点
    • API打点: Cat.logError
    • 框架打点:MVC、RPC、SQL、Cache、MQ …
      在这里插入图片描述
CAT简介-Problem报表

在这里插入图片描述

CAT简介-心跳报表

在这里插入图片描述

CAT简介-报警

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

技术架构

CAT架构

  • 客户端
    • cat-client 提供给业务以及中间层埋点的底层SDK
  • 服务端
    • cat-consumer 用于实时分析从客户端的提供的数据
  • 控制端
    • cat-home 作为用户提供给用户的展示的控制端
CAT架构-总体架构

在这里插入图片描述

CAT架构-客户端架构

在这里插入图片描述

CAT简介-客户端架构-领域模型

在这里插入图片描述

CAT架构-客户端架构-类关系图

在这里插入图片描述

CAT架构-服务端架构

在这里插入图片描述

CAT架构-消息ID设计
  • CAT每个消息都有一个唯一的ID，这个ID在客户端生成，用于在分布式系统间进行串联和Logview生成。
  • CAT消息的MessageId格式ShopWeb-0a010680-375030-2，{domain}-{ip}-{timestamp}-{自增index}，CAT消息一共分为四段：
    第一段是应用名shop-web
    第二段是当前这台机器的IP的16进制格式，0a010680表示10.1.6.108
    第三段的375030，是系统当前时间除以小时得到的整点数
    第四段的2，是表示当前这个客户端在当前小时的顺序递增号
CAT架构-数据存储设计

CAT读取消息的时候，首先根据Message-ID的前面三段确定唯一的索引文件，在根据Message-ID第四段确定此Message-ID索引位置，根据索引文件的48bits读取数据文件的内容，然后将数据文件进行GZIP解压，在根据块内偏移地址读取出真正的消息内容。

在这里插入图片描述

CAT架构-数据存储设计

在这里插入图片描述

CAT架构-消息结构

在这里插入图片描述

CAT架构- CAT消息树生成过程

在这里插入图片描述

CAT架构- CAT消息树生成过程

  • 步骤1
    在这里插入图片描述

  • 步骤2
    在这里插入图片描述

  • 步骤3
    在这里插入图片描述

  • 步骤4
    在这里插入图片描述

  • 步骤5

在这里插入图片描述

  • 步骤6
    在这里插入图片描述
  • 步骤7
    在这里插入图片描述
  • 步骤8
    在这里插入图片描述
  • 步骤9
    在这里插入图片描述
  • 步骤10
    在这里插入图片描述
  • 步骤11
    在这里插入图片描述
CAT架构-消息树编码
  • 前4个字节包含整组字节串的长度，首先通过buf.writeInt(0)占位，编码完通过buf.setInt(index, count)将字节码长度写入buf头4个字节。
  • 编码消息树的头部，依次将tree的version, domain, hostName, ipAdress, treadGroupName, treadId, threadName, MessageId, parentMessageId, rootMessageId, sessionToken写入头部，字段之间以"\t"分隔，并以"\n"结尾。空用null表示。
  • 编码消息体，每个消息都是以一个表示消息类型的字符开头。
    a.“A"表示没有嵌套其他类型消息的事务，
    b.有嵌套其他消息的事务，以一个 “t” 开头，然后递归去遍历并编码子消息， 最后以一个"T"结束，
    c.“E”/“L”/“M”/“H"分别表示Event/Trace/Metric/Heartbeat类型消息；
    然后依次记录时间、type、name
    然后根据条件依次写入status、duration+us、data
    字段之间依然以”\t"分割，以”\n"结尾，空用null表示
    在这里插入图片描述
CAT架构-快速理解CAT-Transaction报表

在这里插入图片描述

CAT架构-快速理解CAT-Event报表

在这里插入图片描述

CAT架构-快速理解CAT-Logview

在这里插入图片描述

CAT架构-生成HTTP调用分布式消息树

在这里插入图片描述

CAT架构-分布式消息树- CatRestInterceptor

在这里插入图片描述
在这里插入图片描述

CAT架构-分布式消息树-CatFilter

在这里插入图片描述
在这里插入图片描述

CAT架构-生成HTTP调用分布式消息树

在这里插入图片描述

mnmlist_tata
关注
专栏目录
分布式实时监控系统(CAT)调研
专注技术；java、架构、项目交付流程...
03-01 1301
CAT（Central Application Tracking），是基于 Java 开发的分布式实时监控系统。CAT在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集群智能调度等领域提供业界领先的、统一的解决方案。CAT 目前在美团的产品定位是应用层的统一监控组件，基本接入了美团所有核心应用，在中间件（RPC、数据库、缓存、MQ 等）框架中得到广泛应用，为各业务线提供系统的性能指标、健康状况、实时告警等。
cat 命令原理及源代码分析
明道堂
01-01 1万+
引言在 linux 上最常用的命令之一莫过于 cat 命令，用它来快速查看文件内容再合适不过了。 cat 命令也是 coreutils 包中的一个工具，coreutils 提供了一系列工具来操作文件，cat 是其中最基本的工具，相关的还有 tac, head, tail, nl, less, more。如果想学习文件操作的相关知识，通过这几个工具的深入学习，完全可以学到想要的知识点。接下来会有一系
Mycat原理与入门
06-06
Mycat原理与入门
CAT：实时应用监控平台的领航者
最新发布
gitblog_00135的博客
08-08 767
CAT：实时应用监控平台的领航者 catdianping/cat: 是一个基于 Java 的分布式监控系统，包含了一整套监控数据的采集、存储、分析和展示的解决方案。适合对分布式系统、监控以及想要实现分布式监控的开发者。项目地址:https://gitcode.com/gh_mirrors/ca/cat 在数字化时代，监控系统已成为保障应用稳定运行的关键。CAT（Central Applicati...
深度剖析开源分布式监控CAT
美团技术团队
10-23 3100
CAT（Central Application Tracking）是一个实时和接近全量的监控系统，它侧重于对Java应用的监控，基本接入了美团点评上海侧所有核心应用。目前在中间件（MVC、RPC、数据库、缓存等）框架中得到广泛应用，为美团点评各业务线提供系统的性能指标、健康状况、监控告警等。自2014年开源以来，除了美团点评之外，CAT还在携程、陆金所、猎聘网、找钢网等多家互联网公...
Cat原理简析
m0_53157173的博客
04-15 1429
深入浅出Cat原理
熬夜之作：一文带你了解Cat分布式监控
程序员高级码农的博客
03-04 1709
如果需要使用 Spring Data Redis 的话，直接集成 kitty-spring-cloud-starter-redis 就可以，kitty-spring-cloud-starter-redis 中对 Redis 的命令进行了埋点，可以在 Cat 上直观的查看对应的命令和消耗的时间。CAT 很大的优势是它是一个实时系统，CAT 大部分系统是分钟级统计，但是从数据生成到服务端处理结束是秒级别，秒级定义是 48 分钟 40 秒，基本上看到 48 分钟 38 秒数据，整体报表的统计粒度是分钟级；
【分布式技术】——监控平台zabbix 介绍与部署
2401_83330816的博客
07-08 1150
zabbix是一个开源的监控系统，提供了分布式监控以及集中的web管理页面zabbix具备常见商业监控软件所具备的功能，主机性能监控，网络设备性能监控，数据库性能监控，ftp、http等通用协议的监控，当被监控的指标异常可以发送基于 E-mail的报警zbbix提供报表及实时的图形化数据处理，实现对监控主机7x24小时集中监控。
CAT实时应用监控平台 v3.1.0.zip
03-18
CAT实时应用监控平台是一款强大的系统监控工具，专为IT运维人员设计，用于实时监测和分析应用程序的性能和稳定性。在v3.1.0版本中，该平台可能包含了一系列优化和增强的功能，以提高监控效率和用户体验。这个压缩包...
分布式运用——监控平台 Zabbix
nwp0611的博客
07-05 1166
作为一个运维，需要会使用监控系统查看服务器系统性能、应用服务状态和网站流量指标等，利用监控系统的数据去了解网站上线发布的结果和健康状态。利用一个优秀的监控软件，我们可以:通过一个友好的界面进行浏览整个网站所有的服务器状态可以在 Web 前端方便的查看监控数据可以回溯寻找事故发生时系统的问题和报警情况案列：自定义监控客户端服务器登录的人数需求：限制登录人数不超过 3 个，超过 3 个就发出报警信息1.明确需要执行的 linux 命令1.创建模板。
大众点评实时监控系统CAT
10-20
- **分布式监控系统的原理和技术栈** - **大数据处理技术和流式计算** - **微服务架构下的监控策略** #### 参考文献 - **《高可用架构》**：本书详细介绍了构建高可用系统的方法和最佳实践，其中也涵盖了监控系统...
CAT实时应用监控平台 v3.0.0
09-28
为您提供CAT实时应用监控平台下载，CAT是基于Java开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。CAT作为服务端项目基础组件，提供了Java，C/C++，Node.js，Python，Go等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。CAT很大的优势是它是一个实
CAT-原理简单分析
eos2009的博客
03-13 2214
简介    cat本文简单分析，启动加载流程启动时加载CatServlet：这里分两条线    一个加载各个模块，如catHomeModule、catConsumeModule、catCoreModule等    一个启动一个socket监听，接收消息，初始化县城，使用consume模块的各个分析器，对消息做不同分析处理主要几个类    RealtimeConsumer        consum...
CAT调用链监控软件原理
ZHANGJNWEI的专栏
09-02 361
CAT简介 美团开源的一款调用链监控软件，在国内互联网行业比较流行。 原理 先埋点，使用CAT客户端SDK，在业务逻辑层面通过编码的方式实现埋点和输出；埋点涉及有四个关键概念，分别是transaction， event，metrics和heartbeat。当业务调用完成，将埋点通过线程的方式发送到一个消息队列；CAT Server使用消费机的机制对消息队列进行分析，并将分析结果存储在Mysql，将元调用链信息存储到HDFS，方便以后使用。 特点 对应用无影响 实时性 吞吐量大 开销低 ...
CAT监控平台之安装篇
excel_bat的专栏
12-22 980
         一、CAT (Central Application Tracking) 简介：        CAT 是大众点评开源的一套基于java的实时应用监控平台，主要应用于服务中间件框架（MVC 框架、RPC 框架、持久层框架、分布式缓存框架）的监控，为开发和运维提供各项性能指标、健康检查、自动报警等可视化服务            二、CAT 安装部署：       ...
CAT分布式监控系统（一）：CAT功能介绍 CAT监控系统是什么、能做什么？
热门推荐
tjiyu的博客
06-03 4万+
CAT分布式监控系统（一）：CAT监控系统功能介绍 本文概要： 1、CAT监控系统是什么。 2、CAT监控系统能做什么，能监控些什么。 下面有些截图是CAT 2.0版本的，但和3.0版本没什么区别的。 一、简介 CAT（Central Application Tracki...
CAT分布式监控系统：CAT功能介绍，CAT监控系统是什么，能做什么？
weixin_37990128的博客
03-15 4048
CAT分布式监控系统（一）：CAT监控系统功能介绍          本文概要：              1、CAT监控系统是什么。             ...
CAT实时应用监控平台链路监控简介与原理，搭建配置与使用，Spring和Nacos集成代码
怀揣梦想，一颗执着于技术的心从未磨灭，内心住着一颗顽强的小强时刻提醒自己层层突破自我，同时也成就他人
02-14 1718
CAT 是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。
Cat监控原理分析
jaemy2011的博客
02-16 133
Cat监控原理分析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值