【译】Unleash the Power of AI on Your Data with Anomaly Detection 作者：Fabrizio Blanco

#【译】Unleash the Power of AI on Your Data with Anomaly Detection
作者：Fabrizio Blanco
—>原文链接<—

What is Anomaly Detection System?

异常检测是一种监控机制，其中系统密切关注业务的重要关键指标，并在出现偏离正常行为时向用户发出警报。传统上，企业使用固定的阈值集来识别超过阈值的度量，以将其标记为异常。然而，这种方法本质上是反应性的，这意味着当企业识别出阈值违规时，所造成的损害将会放大多倍。所需要的是一种持续监视数据流是否存在异常行为的系统，并实时提醒用户以便于及时采取行动。

异常检测的用例很多，并且是vertical agnostic。像电信，零售，金融科技和制造业这样的垂直行业有一些最有影响力的异常检测的应用。

异常检测算法能够分析大量的历史数据以建立“正常”范围，并且当异常值被视为偏离可容忍范围时引发告警。

一个理想的异常检测系统应该能够执行以下任务：

• 识别信号类型并选择合适的模型
• 预测阈值
• 异常识别和评分
• 通过关联各种已识别的异常来找到根本原因
• 获取用户的反馈以检查异常检测的质量
• 使用新数据重新训练模型
  Read More: Privacy Law Discussions: Who’s Leading the Way?

Identification of signal type

第一项任务是确定正确的信号类型。例如，如果所选数据具有循环性或趋势分量等。通常，深度学习模型在稀疏数据或少量数据上表现不佳，对于这些类型的信号，具有正确特征工程的简单ARIMA或XGBoost可能是一个更好的选择。鉴于大量循环性良好的数据，深度学习模型的应用将是一个不错的选择。

Forecasting thresholds

在模型的每次重新训练之后，它通常预测阈值限制，并且这些限制是基于从最近训练的数据获得的度量来计算的，例如平均值，中值，方差等。通过利用正态分布类比，基于给定的置信度，将为下一个要预测的实际点设置阈值。

Anomaly identification and scoring

每当特定度量超出指定阈值时，就会识别出异常。然而，重要的是量化异常的偏差幅度，以便优先考虑需要首先研究/解决哪个异常。在评分阶段，根据偏离中位数的大小或基于偏离度量维持正常行为的时间长度对每个异常进行评分。偏差越大，得分越高。

Finding root cause by correlating various identified anomalies

通常，通过查看silos中的每个指标很难确定根本原因。而将所有异常放在一起，则能够全面了解情况。考虑一个电信运营商的一组塔的流量突然增加的例子。但是通过将它们放在地图上，可以确定中心的塔楼由于技术问题而关闭，这导致所有相邻塔楼的通信量增加。但是，这种增加可能是暂时的，运营商不需要通过增加基于此异常识别的基础设施投资来采取任何permanent action。为了拼接整个故事，需要将所有异常放在一起，并通过与多个数据源相关联来理解上下文。

Feedback from users to check quality of anomaly detection

异常检测系统通常围绕紧密边界设计，以快速突出偏差，但在此过程中，这些系统有时会引发许多错误警报。事实上，已知误报是异常检测领域的普遍问题之一。人们不能低估需要提供给最终用户的灵活性，将数据点的状态从异常改变为正常。在收到此反馈后，需要对模型进行更新/重新培训，以避免重复出现识别出的误报。

Re-training of the model with new data

系统需要不断重新训练新数据，以适应新的趋势。由于操作环境的变化，模式本身可能会发生变化，而不是异常的偏离行为。但是，机制应该保持平衡。过于频繁地更新模型需要过多的计算资源，较低的更新频率导致模型与实际趋势的偏差。

总体而言，由于可用数据的指数增长以及缺乏使用该数据的有影响的机制，近年来异常检测的重要性日益增加。异常检测系统更适合识别重大偏差，同时忽略数据海洋中不值得的噪音 - 使企业能够在正确的时间获得正确的警报和操作建议。