皮尔逊相关性系数和热力图

最新推荐文章于 2024-08-27 11:34:05 发布

烤粽子

最新推荐文章于 2024-08-27 11:34:05 发布

阅读量1.9w

点赞数 8

分类专栏：机器学习文章标签：机器学习 pandas 热力图相关性系数

本文链接：https://blog.csdn.net/Mao_Jonah/article/details/103328531

版权

机器学习专栏收录该内容

6 篇文章 1 订阅

订阅专栏

前言

特征选择是一个重要的“数据预处理”过程，在实现机器学习任务中，获得数据后通常先进行特征选择，此后再训练学习器。[1]

特征选择的两大主要原因：

维数灾难问题[2]。因为属性或者特征过多造成的问题，如果可以从中选择出重要的特征，使得后续学习过程仅需在一部分特征上构建模型，可以大大减轻维数灾难问题。从这个意义上讲，特征选择和降维技术有相似的动机，事实上它们也是处理高维数据的两大主流技术。
去除无关特征可以降低学习任务的难度，也同样让模型变得简单，降低计算复杂度。

知道不同特征之间、特征与target的相关性，可以帮助我们进行特征选择。

1. 皮尔逊相关系数

在统计学中，皮尔逊积矩相关系数[3]（英语：Pearson product-moment correlation coefficient，又称作 PPMCC或PCCs，文章中常用r或Pearson’s r表示）用于度量两个变量X和Y之间的相关程度（线性相关），其值介于-1与1之间。在自然科学领域中，该系数广泛用于度量两个变量之间的线性相关程度。

在此之前，首先需要理解协方差（Covariance）, 协方差在概率论和统计学中用于衡量两个变量的总体误差。协方差计算公式如下所示，方差是协方差的一种特殊情况，即当两个变量是相同的情况。

$\large COV(X,Y) = \frac {1}{n-1} \sum_1^n (X_i- \bar X)(Y_i-\bar Y)$

当两个变量相同时，协方差公式变为如下，这就是我们所熟知的方差。

$\mu)^2] = \frac{1}{n-1} \sum(X_i - X)^2$

协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。

两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商：
$\rho _{X,Y}={\mathrm {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={E[(X-\mu _{X})(Y-\mu _{Y})] \over \sigma _{X}\sigma _{Y}}$

Pearson相关系数的具体公式如下：

$r={\frac {\sum \limits _{i=1}^{n}(X_{i}-{\overline {X}})(Y_{i}-{\overline {Y}})}{{\sqrt {\sum \limits _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}}{\sqrt {\sum \limits _{i=1}^{n}(Y_{i}-{\overline {Y}})^{2}}}}}$

虽然以上两者都能反应两个随机变量的相关程度，但是与协方差相比，相关系数一个很大的优点是消除了量纲的影响。协方差在数值上受到量纲的影响很大， $X, Y$ 中任一者相对另外一者特别大的时候，都能对结果产生相当大的影响。当 $X, Y$ 这两个变量的方差都不为0时，上述公式(相关性系数)具有意义，相关性系数的取值范围在[-1,1]。