美赛模型笔记（六）

相关性分析

描述：
介绍两种最为常用的相关系数：皮尔逊(Person)相关系数和斯皮尔曼(spearman)等级相关系数。两个相关系数的主要作用就是用来衡量两个变量之间的相关性的大小。根据数据满足的不同条件选择不同的相关系数进行计算和分析。

1、相关概念

（1）总体：所需要考察的对象的全部个题叫做总体。
（2）样本：从总体种所抽取的一部分个题叫做总体的一个样本。通过计算用本的统计量来估计总体的统计量。例如使用样本均值、样本标准差来估计总体的均值（平均水平）和总体的标准差（偏离程度）。
（3）协方差，在《概率论与数理统计》中对数据总体协方差的概念定义。

那么如何理解协方差这个概念的出现？
如果X、Y变化方向相同，即当X大于（小于）其均值时，Y也大于（小于）其均值，在这两种情况下，乘积为正。如果X、Y的变化方向一直保持相同，则协方差为正；同理，如果X、Y变化方向一直相反，则协方差为负； 如果X、Y变化方向之间相互无规律，即分子中有的项为正，有的项为负，那么 累加后正负抵消。
但是协方差有一个缺点：
协方差的大小和两个变量的量纲有关，因此不适合比较。

2、总体皮尔逊Person相关系数

在协方差中的量纲影响如何消去？假设变量X、Y的单位为m，那么Cov(X,Y)的单位就为X^2，由于X和Y的标准差的单位各为m，所以在除于X和Y的标准差后就可以消除量纲的影响。那么皮尔逊相关系数也可以看成是剔除了两个变量量纲影响后，将X和Y标准化后的协方差

3、样本皮尔逊相关系数

样本皮尔逊相关系数的计算过程和总体皮尔逊相关系数的计算方法基本一致。就是说样本的协方差中除于的是n-1。

4、关于皮尔逊相关系数理解的误区

以上四个散点图对应数据的皮尔逊相关系数均为0.816

• 通过上面两个图可以看出非线性相关也会导致线性相关系数很大。
• 异常数据点对相关系数的影响很大，例如图3，去掉离群点后，相关系数为0.98
• 如果两个变量的相关系数很大也不能说明两者相关，例如图4，可能是受到了异常值的影响。
• 相关系数计算结果为0，只能说不是线性相关，但说不定会有更复杂的相关关系（二次函数抛物线），例如第五张图。

所以什么时候才能说两个变量是相关的？

（1）如果两个变量本身就是线性的关系， 那么皮尔逊相关系数绝对值大的就是相关性强，小的就是相关性弱；
（2）在不确定两个变量是什么关系的情况下，即使算出皮尔逊相关系数，发现很大， 也不能说明那两个变量线性相关，甚至不能 说他们相关&#