2、经典数据分析中的基础概念

经典数据分析中的基础概念

1. 相关性分析

1.1 相关性的局限性

相关性在分析数据关系时存在一定的局限性。一方面，它对线性偏离不具有鲁棒性。例如，当变量 x 和 y 之间存在强非线性关系时，近零的相关系数可能会完全忽略这种关系。另一方面，相关性对异常值不具有抗性。如图 1.1b 所示，如果移除单个异常值，相关系数 ρ 会从正变为负。

1.2 秩相关

为了使相关性更具鲁棒性和对异常值的抗性，通常会使用 Spearman 秩相关。具体做法是，将数据 {x1, …, xN} 按大小重新排序（从最小的开始），如果 x 是第 n 个成员，则 rank(x) ≡ rx = n。然后计算 rx 和 ry 的相关性，公式如下：
[
\rho_{rank} = \rho_{r_xr_y} = 1 - \frac{6\sum_{i=1}^{N}(r_{xi} - r_{yi})^2}{N(N^2 - 1)}
]
例如，若对 x 进行六次测量得到的值为 1, 3, 0, 5, 3, 6，则对应的 rx 值为 2, 3.5, 1, 5, 3.5, 6（其中相同的值被赋予平均秩）。若对 y 进行测量得到的值为 2, 3, -1, 5, 4, -99（一个异常值），则对应的 ry 值为 3, 4, 2, 6, 5, 1。Spearman 秩相关为 +0.12，而 Pearson 相关为 -0.61，这显示了异常值的强大影响。另一种具有鲁棒性和抗性的相关性是双权重中相关性。

1.3 自相关

为了确定时间序列中的自相关程度，我们使用自相关系数。具体操作是将时间序列的一个副本在时间上滞后 l 个时间间