相关的基本概念

定义1： 两个随机样本变量 $x$ 和 $y$ 之间的协方差($\text{covariance}$)是两个变量之间线性关联的度量, 由公式定义
$$cov(x,y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})\text{\hspace{1em}(1)}$$
注意： 协方差类似于方差, 不同之处在于为两个变量 (上面的 $x$ 和 $y$) 定义协方差, 而方差只为一个变量定义。事实上, $cov(x,x)=var(x)$。

协方差可以被认为是 $x$ 和 $y$ 的数据元素对之间的匹配和不匹配之和：当对中的两个元素在它们的平均值的同一侧时, 就会发生匹配；当对中的一个元素高于其平均值, 而另一个元素低于其平均值时, 就会发生不匹配。

当匹配大于不匹配时, 协方差为正, 当不匹配大于匹配时, 协方差为负。协方差的绝对值大小表示 $x$ 和 $y$ 之间线性关系的强度：线性关系越强, 协方差值就越大。协方差的大小也受数据元素尺度的影响, 为了消除尺度因子, 将相关系数作为线性关系的无尺度度量。

定义2： 两个样本变量 $x$ 和 $y$ 之间的相关系数是两个变量之间线性关联的无标度度量, 并通过公式给出
$$r_{xy}=\frac{cov(x,y)}{s_x{s}_y}\text{\hspace{1em}(2)}$$
We also use the term $\text{coefficient of determination}$ for $r^2$.

注意： Just as we saw for the variance in $\text{Measures of Variability}$, the $covariance$ can be calculated as
$$\begin{array}{rl}\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})=& \frac{1}{n-1}(\sum _{i=1}^n{x}_i{y}_i-\bar{x}\sum _{i=1}^n{y}_i-\bar{y}\sum _{i=1}^n{x}_i+n\bar{x}\bar{y})\\ =& \frac{1}{n-1}(\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y})\\ & \end{array}\text{\hspace{1em}(3)}$$
因此, 我们还可以将相关系数计算为
$$\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{\sqrt{{\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2}\sqrt{{\sum }_{i=1}^n{y}_i^2-n{\bar{y}}^2}}\text{\hspace{1em}(4)}$$
性质1： $-1\le r\le 1$.

注意： 如果 $r$ 接近 1, 则 $x$ 和 $y$ 呈正相关。正线性相关意味着 $x$ 的高值与 $y$ 的较高值相关, $x$ 的较低值与 $y$ 的低值相关联。

如果 $r$ 接近 -1, 则 $x$ 和 $y$ 呈负相关。负线性相关意味着 $x$ 的较高值与 $y$ 的较低值相关联, 而 $x$ 的较低值与 $y$ 的较高值相关联。

当接近 0 时, $x$ 和 $y$ 之间几乎没有线性关系。

注意： We have defined covariance and the correlation coefficient for data samples. We can also define covariance and correlation coefficient for populations, based on their probability density function (pdf).

定义3： The $\text{covariance}$ between two random variables $x$ and $y$ for a population with discrete or continuous pdf is defined by
$$cov(x,y)=E[(x-{\mu }_x)(y-{\mu }_y)]\text{\hspace{1em}(5)}$$
Where $E[]$ is the expectation function.

定义4： The $\text{(Pearson’s product moment)}$ correlation coefficient for two variables $x$ and $y$ for a population with discrete or continuous pdf is
$$\rho =\frac{cov(x,y)}{{\sigma }_x{\sigma }_y}\text{\hspace{1em}(6)}$$
性质2： $-1\le \rho \le 1$.

性质3： $cov(x,y)=E[xy]-{\mu }_x{\mu }_y$

性质4： $cov(x,y)=0$, $x$ and $y$ are independent.

性质5：
$$\begin{array}{r}var(x+y)=var(x)+var(y)+2cov(x,y)\\ var(x-y)=var(x)+var(y)-2cov(x,y)\end{array}\text{\hspace{1em}(7)}$$
注意： It turns out that $r$ is not an unbiased estimate of $\rho$. A relatively unbiased estimate of ${\rho }^2$ is given by the $\text{adjusted coefficient of determination}$ $r_{adj}^2$:
$$r_{adj}^2=1-\frac{(1-r^2)(n-1)}{n-2}\text{\hspace{1em}(8)}$$
while $r_{adj}^2$ is a better estimate of of the population coefficient of determination, especially for small values of $n$, for large values of $n$ it is easy to see that $r_{adj}^2\approx r^2$. Note too that $r_{adj}^2\le r^2$, and while $r_{adj}^2$ can be negative, this is relatively rare.