指标检测(三)：趋势异常检测-基于Mann-Kendall检验

上士闻道，勤而行之；中士闻道，若存若亡；下士闻道，大笑之。

本文基于Github ：ad4j：Anomaly Detection For Java
项目中有完整代码示例，欢迎Star、Issue、提交PR，获得Contributor勋章，共同成长。

系列文章导航：

• 指标检测(一)：绝对值/离群值异常检测
• 指标检测(二)：波动异常检测-基于二阶导和距离寻找最大弯曲点
• 指标检测(三)：趋势异常检测-基于Mann-Kendall检验
• 指标检测(四)：业务阈值检测-基于规则引擎的业务异常检测

一、概述

概述请参考系列文章（一）的概述
本文将重点介绍 ad4j：Anomaly Detection For Java 项目中的趋势异常检测算法。

Mann-Kendall (MK) 算法是一种非参数统计方法，常用于检测时间序列数据中的单调趋势，并判断其显著性。

二、趋势异常检测

1. 原理

Mann-Kendall 算法通过对时间序列数据的各个值之间的差异进行比较，统计正负变化的总和，用以判断数据的趋势是否显著。

（1）假设检验

• 假设数据具有显著的上升或下降趋势。

（2）计算检验统计量$S$
$$S=\sum _{i=1}^{n-1}\sum _{j=i+1}^n\text{sgn}(x_j-x_i)$$
其中符号函数：
$$\text{sgn}(x_j-x_i)=\{\begin{array}{ll}+1,& \text{if }{x}_j-x_i>0\\ 0,& \text{if }{x}_j-x_i=0\\ -1,& \text{if }{x}_j-x_i<0\end{array}$$

（3）统计量$S$标准化
$$Z=\{\begin{array}{ll}\frac{S-1}{\sqrt{\text{Var}(S)}},& \text{if }S>0\\ 0,& \text{if }S=0\\ \frac{S+1}{\sqrt{\text{Var}(S)}},& \text{if }S<0\end{array}$$
其中$Var(S)$计算方式如下：
$$\text{Var}(S)=\frac{n(n-1)(2n+5)-{\sum }_{t}t(t-1)(2t+5)}{18}$$
其中$-{\sum }_{t}t(t-1)(2t+5)$是去除重复值

（4）趋势判定
通过标准正态分布计算$Z$值对应的p-value：如果$p<\alpha （通常\alpha =0.05）$，则认为存在显著趋势。

2.计算过程

(1) 数据准备：时间序列数据：$X=x_1,x_2,\dots ,x_n$。
(2) 计算 $S$ 和 $Var(S)$：

• 遍历每对数据 $x_i,x_j(j>i)$，计算差异符号并求和得 $S$。
• 计算重复值的修正项，并求$Var(S)$。

(3) 计算$Z$值： 使用标准化公式计算 $Z$，并基于正态分布查找 p-value。
(4) 判断结果：

• 如果 $Z>0$：数据存在上升趋势。
• 如果 $Z<0$：数据存在下降趋势。
• 如果 $Z$ 的绝对值较小，则趋势不显著。

3.数据示例

(1) 数据准备：时间序列数据：$X=10.0,12.0,12.5,13.0,55.0,10.5,14.0,15.0,14.5,16.0$。
(2) 计算 $S$ 和 $Var(S)$：

• 计算 $S$：逐步比较每对数据：
  $$\begin{gathered} x_2-x_1=12.0-10.0>0\to +1 \\ {x}_3-x_1=12.5-10.0>0\to +1 \\ {x}_4-x_1=13.0-10.0>0\to +1 \\ ... \end{gathered}$$
  通过逐一比较计算所有正负符号，得到：$S=+28$
• 计算$Var(S)$：
  $$Var(S)=\frac{10(10-1)(2\cdot 10+5)}{18}=125$$

**(3) 计算$Z$值：
$$\frac{S-1}{\sqrt{\text{Var}(S)}}=\frac{28-1}{\sqrt{\text{125}}}\approx 2.41$$
通过正态分布表，$Z=2.41$ 的 p-value 约为 0.016。

(4) 判断结果：

• $p=0.016<0.05$，数据存在显著上升趋势。

4.代码示例

代码来自Github开源项目 ad4j：Anomaly Detection For Java 欢迎star，欢迎提issue交流。

关键计算过程代码：完整代码可去项目中查看ADM_MannKendall.java

    private MannKendallResult mannKendall(List<IndicatorSeries> indicatorSeries, AnomalyDetectionLog log) {
        int n = indicatorSeries.size();

        // calculate S
        int S = 0;
        for (int i = 0; i < n - 1; i++) {
            for (int j = i + 1; j < n; j++) {
                S += Double.compare(indicatorSeries.get(j).getValue(), indicatorSeries.get(i).getValue());  // sign(X_j - X_i)
            }
        }

        // calculate Var(S)
        double varianceS = n * (n - 1) * (2 * n + 5) / 18.0;

        // calculate Z
        double Z;
        if (S > 0) {
            Z = (S - 1) / Math.sqrt(varianceS);
        } else if (S == 0) {
            Z = 0;
        } else {
            Z = (S + 1) / Math.sqrt(varianceS);
        }

        // judge trend with Z
        String trend;
        double alpha = criticalZ;
        if (Math.abs(Z) > alpha) {
            if (Z > 0) {
                trend = AnomalyDictType.TREND_UP.getCode();
            } else {
                trend = AnomalyDictType.TREND_DOWN.getCode();
            }
        } else {
            trend = AnomalyDictType.TREND_NO_OBVIOUS.getCode();
        }

        return new MannKendallResult(S, varianceS, Z, trend);
    }

测试示例

    @Test
    public void testADM_MannKendall(){
        double[] data = new double[]{10.0, 12.0, 12.5, 13.0, 55.0, 10.5, 14.0, 15.0, 14.5, 16.0};
        List<IndicatorSeries> indicatorSeries = IndicatorSeriesUtil.transferFromArray(data);
        AbstractADM model = new ADM_MannKendall();
        model.init(AnomalyDetectionContext.createDefault());
        model.checkCompatibility(indicatorSeries, log);

        IndicatorEvaluateInfo evaluate = model.evaluate(indicatorSeries, log);
        IndicatorSeriesUtil.print(evaluate);
    }

输出：如预期监测出上升趋势。

IndicatorEvaluateInfo{
anomalyDetectionModel='MODEL_ADM_ManKendall'
, anomalyType=TYPE_TREND
, hasAnomaly=true
, anomalyTrend=TREND_UP
}

三、总结

• Mann-Kendall算法使用与所有分布的时序数据的趋势分析，对数据较为鲁棒，在气象、环境监测等趋势监测领域较为常用。也能够应用到我们应用系统的指标检测中。