heartbeat如何监控程序_Logtail 心跳监控最佳实践

作为采集 agent，logtail 所采集的日志可能会就被用于对应用程序进行监控/告警，所以保证它自身处于正常状态对整个系统的稳定显得尤为重要。在之前的《全方位 Logtail 状态监控》中，我们曾介绍了关于监控 Logtail 各类状态的方法，包括基本的链路状态、资源使用情况等。

在本文中，我们将详细展开通过外围巡检获取 SLS 提供的状态信息来实现对 logtail 心跳状态的监控和告警，并提供可供直接使用的代码。

外围巡检

顾名思义，外围巡检即不访问实际运行 logtail 的机器，仅通过一些外部访问可获得的状态信息来进行巡检。因为是巡检，自然会受到监控规模的限制，因此，此方法适用于 logtail 实例数量较少（比如少于 500 台）或是对发现异常的实时性要求较低（比如半小时内发现）的场景。

SLS 提供的状态信息

在实践中，我们可以通过以下两项 SLS 提供的信息来进行巡检：

1. ListMachines API：在日志服务中，正在采集日志的 logtail 实例在逻辑上会属于至少一个机器组，因此，通过此 API 查询指定机器组，即可得到该组内 logtail 实例在 SLS 服务端的状态，辅助我们进行巡检判断。
2. 服务日志中的 logtail 状态日志：在正常情况下，logtail 会在每分钟上报一条状态日志至 SLS 服务端，通过开通服务日志（不开通操作日志的情况下完全免费），我们即可获取到这些状态日志，进而判断 logtail 实例的状态日志上报是否依旧正常。

巡检流程

假定监控对象为单个 project，实时性要求