机器学习中的数学——距离定义（十八）：卡方距离（Chi-square Measure）

分类目录：《机器学习中的数学》总目录
相关文章：
· 距离定义：基础知识
· 距离定义（一）：欧几里得距离（Euclidean Distance）
· 距离定义（二）：曼哈顿距离（Manhattan Distance）
· 距离定义（三）：闵可夫斯基距离（Minkowski Distance）
· 距离定义（四）：切比雪夫距离（Chebyshev Distance）
· 距离定义（五）：标准化的欧几里得距离（Standardized Euclidean Distance）
· 距离定义（六）：马氏距离（Mahalanobis Distance）
· 距离定义（七）：兰氏距离（Lance and Williams Distance）/堪培拉距离（Canberra Distance）
· 距离定义（八）：余弦距离（Cosine Distance）
· 距离定义（九）：测地距离（Geodesic Distance）
· 距离定义（十）： 布雷柯蒂斯距离（Bray Curtis Distance）
· 距离定义（十一）：汉明距离（Hamming Distance）
· 距离定义（十二）：编辑距离（Edit Distance，Levenshtein Distance）
· 距离定义（十三）：杰卡德距离（Jaccard Distance）和杰卡德相似系数（Jaccard Similarity Coefficient）
· 距离定义（十四）：Ochiia系数（Ochiia Coefficient）
· 距离定义（十五）：Dice系数（Dice Coefficient）
· 距离定义（十六）：豪斯多夫距离（Hausdorff Distance）
· 距离定义（十七）：皮尔逊相关系数（Pearson Correlation）
· 距离定义（十八）：卡方距离（Chi-square Measure）
· 距离定义（十九）：交叉熵（Cross Entropy）
· 距离定义（二十）：相对熵（Relative Entropy）/KL散度（Kullback-Leibler Divergence）
· 距离定义（二十一）：JS散度（Jensen–Shannon Divergence）
· 距离定义（二十二）：海林格距离（Hellinger Distance）
· 距离定义（二十三）：α-散度（α-Divergence）
· 距离定义（二十四）：F-散度（F-Divergence）
· 距离定义（二十五）：布雷格曼散度（Bregman Divergence）
· 距离定义（二十六）：Wasserstein距离（Wasserstei Distance）/EM距离（Earth-Mover Distance）
· 距离定义（二十七）：巴氏距离（Bhattacharyya Distance）
· 距离定义（二十八）：最大均值差异（Maximum Mean Discrepancy, MMD）
· 距离定义（二十九）：点间互信息（Pointwise Mutual Information, PMI）

---

卡方距离（Chi-square Measure）由${\chi }^2$统计量得到。统计学上的${\chi }^2$统计量，最初由英国统计学家Karl Pearson在1900年首次提出的，因此也称之为Pearson ${\chi }^2$统计量。${\chi }^2$检验经常用来检验某一种观测分布是不是符合某一类典型的理论分布。观察频数与期望频数越接近，两者之间的差异越小，${\chi }^2$值越小。如果两个分布完全一致，${\chi }^2$值为0，反之观察频数与期望频数差别越大，两者之间的差异越大，${\chi }^2$值越大。换言之，大的${\chi }^2$值表明观察频数远离期望频数，即表明远离假设。小的${\chi }^2$值表明观察频数接近期望频数，接近假设。因此，${\chi }^2$是观察频数与期望频数之间距离的一种度量指标，也是假设成立与否的度量指标。${\chi }^2$统计量的计算公式如下：

$${\chi }^2=\sum _{i=1}^n\frac{(A_i-E_i{)}^2}{E_i}=\sum _{i=1}^k\frac{(A_i-n{p}_i{)}^2}{k{p}_i}$$

其中，$A_i$为$A$在水平$i$的观察频数，$E_i$为$E$在水平$i$的期望频数，$k$为总频数，$p_i$为水平$i$的期望频率。水平$i$的期望频数$E_i$等于总频数$k\times$水平$i$的期望概率$p_i$。当$k$比较大时，${\chi }^2$统计量近似服从$n-1$个自由度的卡方分布。

下面我们来看一下卡方距离的Python实现：

def ChiSquare(x, y):
    import numpy as np

    x = np.asarray(x, np.int32)
    y = np.asarray(y, np.int32)

    return np.sum(np.square(x-y)/y)