假设检验 | 非参数假设检验 —— KS检验

目录

1.概述

2.优缺点

3.KS检验过程

4.python程序

---

1.概述

KS(Kolmogorov-Smirnow)是一种非参数的统计检验方法，是针对连续分布的检验。这种检测常被用来应用于比较单样本是否符合某个已知分布(将样本数据的累计频数分布与特定理论分布相比较，如果两者间差距较小，则推断该样本取自某特定分布簇)，双样本的KS检测比较两个数据集的累积分布（连续分布）的相似性。

2.优缺点

【优点】

①KS检验与卡方检验相比(都采用实际频数与理论频数之差进行检验)，不需要将数据分组，可直接对原始数据的n个观测值进行检验，故KS检验对数据的利用更加完整，一般来说比卡方检验更有效，适用范围广

②KS检验具有稳健性(不依赖均值的位置)

③对数据量纲不敏感

【缺点】

①在明确待检验样本的可能分布时，检验性能不如对应的分布检验

3.KS检验过程

【定义】：检验统计量为，其中F_{n}(x)为观察序列值，F(x)为理论序列值或另一观察序列值

【过程】：

①提出假设H0：F_{n}(x) = F(x)

②计算样本累计频率与理论分布累计概率的绝对差，令最大的绝对差为D_{n}；D_{n}=max{[F_{n}(x) - F(x)]}

③用样本容量n和显著性水平a查出临界值D_{na}

④如果D_{n} < D_{na}，则认为原假设成立

⑤若pvalue < α 则拒绝原假设；若pvalue ≥ α则不拒绝原假设

4.python程序

from scipy.stats import kstest
from scipy.stats import ks_2samp
import numpy as np
import matplotlib.pyplot as plt
from collections import Counter
import pandas as pd


tmp = np.random.randint(-5, 5, 10)
ks_control = np.random.randint(1, 5, 10)
ks_treatment = [1, 1, 3, 2, 2, 4, 2, 5, 2, 3]

# # =======================================α=0.05
# # 单样本ks检验
# print(kstest(tmp, "norm"))
# print(kstest(ks_treatment, "norm", N=10))
#
# # 双样本ks检验
# print(ks_2samp(ks_control, ks_treatment))

# =======================================result
# H0:两个分布式相同的
# KstestResult(statistic=0.3413447460685429, pvalue=0.152621157201553)
# pvalue > 0.05 :不拒绝原假设
# KstestResult(statistic=0.541344746068543, pvalue=0.0028511439063989563)
# pvalue < 0.05 : 拒绝原假设
# Ks_2sampResult(statistic=0.4, pvalue=0.3128526760169558)
# pvalue > 0.05 : 不拒绝原假设

# =======================================绘制频率累积折线图
def plotKS_curve(ks_control, ks_treatment):
    plt.rcParams['font.sans-serif'] = ['SimHei']

    plt.figure()
    d1 = list(pd.value_counts(ks_control).sort_index())
    d2 = list(pd.value_counts(ks_treatment).sort_index())

    y1 = []
    y2 = []
    for i in range(5):
        y1.append(sum(d1[:i+1])/sum(d1))
        y2.append(sum(d2[:i+1])/sum(d2))

    plt.plot(np.arange(1, 6), y1, color="r", label="ks_control", marker="^")
    plt.plot(np.arange(1, 6), y2, color="b", label="ks_treatment", marker="*")

    # 给绘图添加数字
    for i in range(5):
        plt.text(i+1.2, y1[i], s=str(y1[i]), ha='center', va='center')
        plt.text(i+1.2, y2[i], s=str(y2[i]), ha='center', va='center')

    plt.xlabel("用户评分值")
    plt.ylabel("频率")
    plt.legend()
    plt.show()


if "__main__" == __name__:
    plotKS_curve(ks_control, ks_treatment)