n9ecommunity的博客

详情中可以看到，商品实时下单量这个关键业务指标暴跌，在某些时刻直接跌到0了，这是一个明显的故障，用户可以在暴跌的位置点击鼠标，就可以看到那些相关的服务是否健康，不健康的直接红色标注，用户就可以快速定位到故障服务，比如这里明显看到。Flashcat 的做法，主打一个知识沉淀复用，平时用户定位故障时，先看什么数据，再看什么数据，都可以在 Flashcat 里沉淀下来。云上的、云下的，开源的、自建的、商业的，网络的、服务器的、数据库的、中间件的、应用的、业务的，指标的、日志的、链路的、事件的。

有了观测能力，保障连锁门店IT服务的稳定性还差最后一步，就是建立起相应的稳定性保障流程。让制度来驱动保障能力落地。Flashduty 就是针对性的解决这个环节的问题。Flashduty可以收集观测系统、灭火图、北极星以及各个告警源的告警，对所有告警事件做聚合降噪、优先级划分、值班排班、告警升级等设置。让整个保障流程通过告警驱动运行起来，实现用机制来保障稳定性的效果。各家连锁门店企业可能因业务的特点和已有观测能力的不同，建设的侧重点有所不同。和客户一起实施的过程中，Flashcat还实践了包括。

然而在运用Skywalking的过程中，我们常常更关注服务之间的调用链路、性能数据，往往会忽略流量入口（网关）到服务之间的Trace串联，导致我们经常在网关层面观测到一个错误调用后，无法通过TraceID快速查看本次调用的链路，从而白白浪费宝贵的排障时间。将日志接入 Flashcat 的日志分析子系统生成报表，在这张报表中可以看到对应的域名、接口、流量、成功率等（当然，这些维度都可以自定义），在创建报表的时候设置好日志中哪个字段是TraceID字段。本文选择第二种方式，将。

本文介绍了稳定性保障中日志分析系统建设面临的问题、挑战、需求和建设中的权衡取舍。并介绍了 Flashcat 如何解决这些问题，做到效果和成本最佳，也最具落地的可行性。

Zenlayer 与快猫星云技术专家一起，重点从全球化架构、边缘计算、网络监控、Zabbix 替代等方面出发，根据 Zenlayer 自身的业务特点，结合快猫星云在统一监控和稳定性保障方向的最佳实践，构建起了 Zenlayer 新一代的统一监控方案，最终也实现了对 Zabbix 的完美替代，解除了困扰已久的难题。

经过双方技术专家的共同努力，根据出行业务自身的特点和行业特性，结合快猫星云在多云统一监控方向的最佳实践，构建起了统一的监控平台和高效的故障发现定位体系，最终为公司的多云架构的落地增强了关键一环。

这是从 logs 下钻到 traces 的推荐标准做法，即在 logs 中打印 TraceId、SpanId 等 Trace Context信息，从而精确的根据 TraceId/SpanId 关联到相对应的 traces。相比 metrics 和 traces，logs 是“可观测性三支柱”中历史包袱最重的监控数据类型，日志的格式更随意，缺乏标准和规范。现实情况中，logs、traces、metrics 在收集、传输、存储整个链条上，存在相互割裂的情况，导致在对可观测性数据进行统一分析的时候，难以打通。

从DB中查到配置后，判断是机柜模式还是交换机模式，因为这两种方式，其筛查Server IP的逻辑会有差异，之后需计算出每个数据中心，待探测的机柜或交换机是哪些，以及其下的Server Ip分别是多少，做好数据准备工作。此外，我们需新起一个协程，定时去对比新用户配置和已生成的pinglist是否一致，因为可能在我们生成新的pinglist后的一段时间内，用户变更或新增、删除了数据中心配置和规则，那需要将已生成的pinglist进行对比清理，避免用户配置变更后，依旧使用老的配置去探测，导致数据不准问题。

灭火图正成为企业提升稳定性保障能力，加速故障定位不可或缺的工具。了解灭火图的更多详情请访问快猫星云官网：https://flashcat.cloud/

利用 Flashcat 的 All-in-One 采集器，统一了硬件、系统、进程等指标，并融合了公司其他内部采集系统，所有监控数据汇总一处，统一分析、处理；利用“数据驱动”的理念，构建了门店 IT 质量量化体系，及时发现和治理有隐患的门店；利用 Flashcat 层次化、多样化的可视化系统，构建了整个公司门店 IT 质量可视化方案，可以集中查看全局稳定性状态，同时，能够层层下钻，定位异常原因；结合上面的需求分析，以及Flashcat的产品能力，我们围绕统一的“监控采集”、“数据驱动”的理念治理“

通过上述方案落地，整体上实现了从问题发现到下钻追查，直至细节的全部串联，可以明显加速用户问题的发现和处理效率。我们主要从扩大可观测性监控试点落地的范围、接入更多核心业务系统，引入更加智能化的运维监控手段；从两个方向来着手，具体如下：目前看，我们可观测实践的产品形态，满足了试点业务内部研发、运维侧的需求，后面需要在更大范围内进行落地；主要的工作，是在更多业务系统中，完成相关“期货业务”日志插件的适配，完成日志的标准化处理，将更多的数据纳入到可观测体系中来；