趋势检验方法（二）MK趋势检验

aaakirito

已于 2022-03-22 13:02:56 修改

阅读量9.2w

点赞数 54

分类专栏：人工智能文章标签：机器学习 python 时序数据

于 2021-05-10 16:47:03 首次发布

本文链接：https://blog.csdn.net/aaakirito/article/details/116600294

版权

人工智能专栏收录该内容

19 篇文章

订阅专栏

MK（Mann-Kendall）检验

a基本原理：

使用MK算法检验时序数据大致趋势，趋势分为无明显趋势（稳定）、趋势上升、趋势下降。

MK检验的基础：

当没有趋势时，随时间获得的数据是独立同分布的，数据随着时间不是连续相关的。
所获得的时间序列上的数据代表了采样时的真实条件，样本要具有代表性。
MK检验不要求数据是正态分布，也不要求变化趋势是线性的。
如果有缺失值或者值低于一个或多个检测限制，是可以计算MK检测的，但检测性能会受到不利影响。
独立性假设要求样本之间的时间足够大，这样在不同时间收集的测量值之间不存在相关性。

b MK算法原理：

上面置信度为1-alpha，写错了

c方法优缺点：

优点：功能强大，不需要样本遵从一定的分布，部分数据缺失不会对结果造成影响，不受少数异常值的干扰，适用性强。

不但可以检验时间序列的变化趋势，还可以检验时间序列是否发生了突变。

缺点：暂未发现，待后续补充。

d算法入口：

目前MK检验还没有可直接调用的函数，具体MK模板可以根据下面所写的实例去修改

e实例参考：

from scipy.stats import norm
import numpy as np


def mk(x, alpha=0.1):  # 0<alpha<0.5 1-alpha/2为置信度
    n = len(x)

    # 计算S的值
    s = 0
    for j in range(n - 1):
        for i in range(j + 1, n):
            s += np.sign(x[i] - x[j])

    # 判断x里面是否存在重复的数，输出唯一数队列unique_x,重复数数量队列tp
    unique_x, tp = np.unique(x, return_counts=True)
    g = len(unique_x)

    # 计算方差VAR(S)
    if n == g:  # 如果不存在重复点
        var_s = (n * (n - 1) * (2 * n + 5)) / 18
    else:
        var_s = (n * (n - 1) * (2 * n + 5) - np.sum(tp * (tp - 1) * (2 * tp + 5))) / 18

    # 计算z_value
    if n <= 10:  # n<=10属于特例
        z = s / (n * (n - 1) / 2)
    else:
        if s > 0:
            z = (s - 1) / np.sqrt(var_s)
        elif s < 0:
            z = (s + 1) / np.sqrt(var_s)
        else:
            z = 0

    # 计算p_value，可以选择性先对p_value进行验证
    p = 2 * (1 - norm.cdf(abs(z)))

    # 计算Z(1-alpha/2)
    h = abs(z) > norm.ppf(1 - alpha / 2)

    # 趋势判断
    if (z < 0) and h:
        trend = 'decreasing'
    elif (z > 0) and h:
        trend = 'increasing'
    else:
        trend = 'no trend'

    return trend