CAT 实时监控

一、 CAT概要
1.CAT是什么？
CAT(Central Application Tracking)是基于Java开发的实时应用监控平台，提供了全面的监控服务和业务决策支持。
2.CAT作用
2.1. 故障快速发现：主要面向运维，让运维直观到生产环境出现的问题；
2.2. 系统问题分析：面向开发，让开发能了解自己系统实时运行状态、发现问题。
3.CAT报表展示消息类型
3.1. Transaction
适合记录跨越系统边界的程序访问行为,比如远程调用，数据库调用，也适合执行时间较长的业务逻辑监控，Transaction用来记录一段代码的执行时间和次数。
3.2. Event
用来记录一件事发生的次数，比如记录系统异常，它和transaction相比缺少了时间的统计，开销比transaction要小。
3.3. Heartbeat
表示程序内定期产生的统计信息, 如CPU%, MEM%, 连接池状态, 系统负载等。
3.4. Metric
用于记录业务指标、指标可能包含对一个指标记录次数、记录平均值、记录总和，业务指标最低统计粒度为1分钟。
3.5. Trace
用于记录基本的trace信息，类似于log4j的info信息，这些信息仅用于查看一些相关信息。
4.CAT架构设计

追求简单、去中心化、分工协作，两层结构，除了依赖外部存储如HDFS和MySQL外，不依赖其他系统，CAT内部全面采用组件化设计和实现。CAT每天消息量巨大，一台机器是不能处理全部流量，必须分片处理，均衡负载。

业务应用目前使用CAT API进行埋点，后台异步线程采用TCP长连接方式，将消息源源不断地传输到后台服务器；CAT具有fail-over(故障切换)机制，在后台服务器不可用时会自动切换到另一台可用服务器。CAT目前使用native协议做序列化和反序列化，将来会考虑支持更多协议，比如thrift。
消息被送到后台，经反序列化后会被放入队列，实时消费调度器会将消息分发到所有消费者内部队列，每个消费者只需处理自己的消费队列，各消费者之间彼此相对独立，如果消费速度太慢，导致消费队列满，则新来的消息会被丢弃。典型消费者都采用实时增量计算的方式，流式处理消息，产生的报表会在当前小时结束后保存到中央数据库中。
日报表采用后台作业的形式，由24个小时报表合并得到。周报表则由7个日报表合并得到，以此类推。
CAT控制台，即UI层，负责接收用户请求，从后台存储中将报表信息取出显示。对于实时报表，直接通过HTTP请求分发到相应消费机，待结果返回后聚合展示；历史报表则直接取数据库并展示。
所有原始消息会先存储在本地文件系统，然后上传到HDFS中保存；而对于报表，因其远比原始日志小，则以K/V的方式保存在MySQL中。
5.消息处理
消息处理分五个阶段：收集、传输、分析、存储和展示。
收集阶段：负责业务应用日志的埋点和采集。CAT目前提供多种语言的客户端供业务应用程序调用，埋点结果以消息树的形式存入传输队列。如果队列满，则会自动丢弃当前消息。
传输阶段：CAT客户端负责将客户端消息传输到后端，CAT消费机负责接收消息。传输前CAT客户端会与CAT消费机建立TCP长连接，不断地从客户端队列中取出消息树，序列化后写入网络；CAT消费机则不断地从网络中取出数据，反序列化后放入消费队列。
分析阶段：负责报表生成。实时消费调度器会将消费队列消息取出，分发给每个消费者内部队列；报表分析器只会从自己的报表队列中取出消息树，逐个消费，更新报表模型。CAT以小时为单位形成报表，原始日志转储(raw log dump)是一个特殊的分析器，它不生产报表，而是将消息存入本地文件系统。
存储阶段：负责报表和原始日志的存储，目前报表会存在MySQL中，原始日志压缩后存在HDFS中长久保存。保留时长取决于存储容量的大小，一般报表会保存3个月以上，原始日志保存一个月。