分布式系统关键技术之全栈监控

全栈监控

一个好的监控为了两个场景而设计

体检

容量管理
提供一个全局的系统运行时数据展示，可以让其它工程师知道是否需要加机器或资源

性能管理
可以通过查看大盘，找到系统瓶颈，并能有针对性的优化

急诊

定位问题
快速的暴露并找到问题的发生点，帮助技术人员诊断问题

性能分析
当出现非预期流量提升时，快速找到系统节点

其架构可以用下图表示

多层体系监控架构图

包括三层

1）基础层：监控主机和底层资源。比如cpu、内存、网络吞吐、硬盘I/O、硬盘使用等
2）中间层: 包括nginx、Redis、MQ、MySQL、Tomcat等
3）应用层：HTTP访问的吞吐量、响应时间、返回码、调用链路分析、性能瓶颈，还包括用户端的监控等
此外，有了这些监控后，需要将数据能落实到日志系统，需要
1）日志数据格式化
2）监控数据格式标准化
3）统一的监控平台
4）统一的日志分析

一个好的监控系统技术要点

1. 服务链路跟踪。从对外的API开始，到对应的服务器，最好到落地的数据库，包括所有的中间件，比如缓存、消息等。开源项目Zipkin实现了链路跟踪功能，此外Java类的服务还可以用字节码技术做到代码无侵入式。如下图所示

   
   

   

2. 服务调用时长分布。同样的，用Zipkin就可以做到

   
   

   

3. 服务TOP N视图，包含三种排名方法：a）按调用量排名 b) 按请求最耗时排名 c）按热点排名

4. 数据库操作关联。我们可以很方便的通过JavaAgent字节码注入技术拿到JDBC执行数据库操作的执行时间

5. 服务资源跟踪。我们服务可能运行在物理机上，也可能在虚拟机里，还可能是Docker容器中，而我们需要把这些资源关联起来(CPU,MEM,I/O,DISK,NETWORK)

而一旦有了上述数据我们就可以达到如下目标。

1. 一台服务器挂掉是因为CPU或I/O过高的时候，我们马上可以知道其会影响到哪些对外服务的API

2. 当一个服务过慢的时候，我们马上能看出其是否在做Java GC，或是其所在的节点是否有资源不足的情况

3. 当发现一个SQL过慢的时候，我们立马知道其影响的是哪个API

4. 当发现一个消息队列拥堵时，我们立马能知道会影响哪些对外服务的API
   我们可以用一个图来表示