11、气象学中常用的相关分析方法

气象数据处理与分析中，经常需要统计两个或多个变量之间的相关关系。本文主要讲解皮尔逊（普通）相关、Spearman秩相关、Kendall’s $\tau$相关以及序列相关的使用方法以及适用条件，并给出相应的Python实践案例。

一、皮尔逊（普通）相关

两个变量$x,y$之间的皮尔逊相关系数可以表示为：
$$r_{xy}=\frac{\mathrm{Cov}(x,y)}{s_x{s}_y}=\frac{\frac{1}{n-1}{\sum }_{i=1}^n\left[\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)\right]}{{\left[\frac{1}{n-1}{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2\right]}^{1/2}{\left[\frac{1}{n-1}{\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2\right]}^{1/2}}\text{\hspace{1em}(1)}$$

$$r_{xy}=\frac{{\sum }_{i=1}^n\left(x_i^{\prime }{y}_i^{\prime }\right)}{{\left[{\sum }_{i=1}^n{\left(x_i^{\prime }\right)}^2\right]}^{1/2}{\left[{\sum }_{i=1}^n{\left(y_i^{\prime }\right)}^2\right]}^{1/2}}\text{\hspace{1em}(2)}$$
皮尔逊相关系数，既不具有鲁棒性也不具有稳定性。它不具有鲁棒性，点那个两个变量$x,y$之间有很强但是非线性关系时，是不可以识别的。不具有稳定性，是因为它可能对一个或者几个离群点极为敏感。但是皮尔逊相关系数非常适合数学运算，所以经常被使用，并于回归分析等内容有密切关系。
皮尔逊相关系数的两个重要性质：

• 皮尔逊相关系数数值在[-1,1]之间
• 皮尔逊相关系数的平方$r_{xy}^2$ 表征$x$或者$y$中一个由另一个线性说明或描述的比例，但这个是不合理的。
  皮尔逊相关系数的另一个表示方法：

$$r_{xy}=\frac{1}{n-1}\sum _{i=1}^n\left[\frac{\left(x_i-\bar{x}\right)}{s_x}\frac{\left(y_i-\bar{y}\right)}{s_y}\right]=\frac{1}{n-1}\sum _{i=1}^n{z}_{x_i}{z}_{y_i}\text{\hspace{1em}(3)}$$
从计算角度考虑，上述皮尔逊计算公式是复杂的，会消耗大量的计算资源，导致运行效率的下降。为此，提出了以下的计算公式，以提高运行与计算效率。

$$\begin{array}{rl}\sum _{i=1}^n\left[\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)\right]& =\sum _{i=1}^n\left[x_i{y}_i-x_i\bar{y}-y_i\bar{x}-\bar{x}\bar{y}\right)]\\ & =\sum _{i=1}^n\left(x_i{y}_i\right)-\bar{y}\sum _{i=1}^n{x}_i-\bar{x}\sum _{i=1}^n{y}_i+\bar{x}\bar{y}\sum _{i=1}^n(1)\\ & =\sum _{i=1}^n\left(x_i{y}_i\right)-n\bar{x}\bar{y}-n\bar{x}\bar{y}+n\bar{x}\bar{y}\\ & =\sum _{i=1}^n\left(x_i{y}_i\right)-\frac{1}{n}\left[\sum _{i=1}^n{x}_i\right]\left[\sum _{i=1}^n{y}_i\right]\end{array}\text{\hspace{1em}(4)}$$

$$s_x={\left(\frac{\sum x_i^2-n{\bar{x}}^2}{n-1}\right)}^{1/2}={\left[\frac{\sum x_i^2-\frac{1}{n}{\left(\sum x_i\right)}^2}{n-1}\right]}^{1/2}\text{\hspace{1em}(5)}$$

$$r_{xy}=\frac{{\sum }_{i=1}^n{x}_i{y}_i-\frac{1}{n}\left({\sum }_{i=1}^n{x}_i\right)\left({\sum }_{i=1}^n{y}_i\right)}{{\left[{\sum }_{i=1}^n{x}_i^2-\frac{1}{n}{\left({\sum }_{i=1}^n{x}_i\right)}^2\right]}^{1/2}{\left[{\sum }_{i=1}^n{y}_i^2-\frac{1}{n}{\left({\sum }_{i=1}^n{y}_i\right)}^2\right]}^{1/2}}\text{\hspace{1em}(6)}$$

代码实现

pccs_1 = np.corrcoef(x1, y1)
pccs_2 = np.corrcoef(x2, y2)
print(pccs_1)
print("=====================================")
print(pccs_2)

二、Spearman秩相关

Spearman秩相关具有鲁棒性和抗干扰性，可以有效弥补皮尔逊相关的不足。Spearman秩相关使用的是资料的秩，而不是资料本身，其具体计算过程如下：

• 将数据本身转化成数据的秩。
  

• 计算公式
  如果没有重复的秩，使用下列公式进行计算：
  $$r_{\mathrm{rank}}=1-\frac{6{\sum }_{i=1}^n{D}_i^2}{n\left(n^2-1\right)}\text{\hspace{1em}(7)}$$
  其中$D_i=x_i^{{}^{\prime }}-y_i^{{}^{\prime }}$,为$y_i$和$x_i$之间的秩差值。
  具体推导过程：
  从1到n的整数平均值为$\frac{n+1}{2}$,其方差为$\frac{n(n+1)}{12}$,$1^2+2^2+\cdots +n^2=\frac{n(n+1)(2n+1)}{6}$
  $$\begin{array}{r}{r}_{\mathrm{rank}}=\frac{\frac{1}{n-1}{\sum }_{i=1}^n\left[\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)\right]}{{\left[\frac{1}{n-1}{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2\right]}^{1/2}{\left[\frac{1}{n-1}{\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2\right]}^{1/2}}\end{array}\text{\hspace{1em}(8)}$$
  对上述式子进行化简并代入可以得到：
  $$\begin{array}{rl}{r}_{rank}& =\frac{1}{n-1}\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{\frac{n(n+1)}{12}}\\ & =12\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{n(n+1)(n-1)}\\ & =12\frac{{\sum }_{i=1}^n{x}_i{y}_i-\frac{n(n+1{)}^2}{4}}{n(n+1)(n-1)}\\ & =\frac{12{\sum }_{i=1}^n{x}_i{y}_i-3n(n+1{)}^2}{n(n+1)(n-1)}\end{array}\text{\hspace{1em}(9)}$$

$$\begin{array}{r}\sum _{i=1}^n{x}_i{y}_i=\sum _{i=1}^m{x}_i^2+\sum _{i=1}^n{y}_i^2-\sum _{i=1}^n(x_i-y_i{)}^2\end{array}\text{\hspace{1em}(10)}$$
将公式（10）代入公式（9）后，利用$1^2+2^2+\cdots +n^2=\frac{n(n+1)(2n+1)}{6}$，便可得到公式（7）的结果。
如果存在重复的秩，则需要计算秩次之间的皮尔逊相关系数：
$$r_{\mathrm{rank}}=\frac{{\sum }_i\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{\sqrt{{\sum }_i{\left(x_i-\bar{x}\right)}^2{\sum }_i{\left(y_i-\bar{y}\right)}^2}}\text{\hspace{1em}(11)}$$

代码实现

import scipy.stats
x1=[0,1,2,3,5,7,9,12,16,20]
y1=[0,3,6,8,11,13,14,15,16,16]
scipy.stats.spearmanr(x1,y1)

三、Kendall’s相关

kendall的$\tau$相关同样具有鲁棒性和抗干扰性，是皮尔逊相关系数的第二种替代方案。
计算公式为：
$$\tau =\frac{N_C-N_D}{n(n-1)/2}\text{\hspace{1em}(12)}$$

$N_C$一致数据对的数目
$N_D$不一致的数据对数目
下面通过一个具体的数据进行说明：

以样本编号1为例，样本1-9的年龄都比样本1大，且样本1-9的任务完成度也全部大于样本1的任务完成度，所以一致对数为9，不一致对数为0。

代码实现

import scipy.stats
age=[10,15,18,21,23,25,28,30,45,41]
degree=[0.001,0.04,0.01,0.03,0.02,0.56,0.12,0.75,0.78,0.89]
scipy.stats.kendalltau(age,degree)