皮尔逊相关系数

最新推荐文章于 2024-08-15 15:16:54 发布

技术从未如此性感

最新推荐文章于 2024-08-15 15:16:54 发布

阅读量7.8k

点赞数 2

分类专栏：机器学习

本文链接：https://blog.csdn.net/u013749540/article/details/51814048

版权

机器学习专栏收录该内容

22 篇文章 0 订阅

订阅专栏

在概率论和统计学中，相关（Correlation，或称相关系数或关联系数），显示两个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是用来衡量两个变量相对于其相互独立的距离。

在推荐系统中，我们常用皮尔逊相关系数来衡量两个用户兴趣的相似度，它是判断两组数据与某一直线拟合程度的一种度量。它在用户对物品的评分数据差别大时（如有些用户评分普遍较高，有些用户评分普遍偏低）时的效果更好。也即它修正了“夸大分值”的情况，如果某个用户总是倾向于给出比另一个人更高的分值，而两者的分值之差又始终保持一致，则两者间依然可能存在很好地相关性。

皮尔逊相关系数的数学理论知识如下：

在统计学中，皮尔逊积矩相关系数（ Pearson product-moment correlation coefficient ）用于度量两个变量X和Y之间的相关（线性相关），其值介于-1与1之间。系数的值为1意味着 X 和 Y 可以很好的由直线方程来描述，所有的数据点都很好的落在一条直线上，且 Y 随着 X 的增加而增加。系数的值为?1意味着所有的数据点都落在直线上，且 Y 随着 X 的增加而减少。系数的值为0意味着两个变量之间没有线性关系。当两个变量独立时，相关系数为0.但反之并不成立。这是因为相关系数仅仅反映了两个变量之间是否线性相关。比如说， X 是区间［－１，１］上的一个均匀分布的随机变量。 Y = X ² . 那么 Y 是完全由 X 确定。因此 Y 和 X 是不独立的。但是相关系数为0。或者说他们是不相关的。当 Y 和 X 服从联合正态分布时，其相互独立和不相关是等价的。当且仅当 X _i and Y _i 均落在他们各自的均值的同一侧，则( X _i ? X )( Y _i ? Y ) 的值为正。也就是说，如果 X _i 和 Y _i 同时趋向于大于, 或同时趋向于小于他们各自的均值，则相关系数为正。如果 X _i 和 Y _i 趋向于落在他们均值的相反一侧，则相关系数为负。

定义：

两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商：

$\rho_{X,Y}={\mathrm{cov}(X,Y) \over \sigma_X \sigma_Y} ={E[(X-\mu_X)(Y-\mu_Y)] \over \sigma_X\sigma_Y},$

以上方程定义了总体相关系数, 一般表示成希腊字母ρ(rho)。基于样本对协方差和标准差进行估计，可以得到样本相关系数, 一般表示成r：

$r = \frac{\sum ^n _{i=1}(X_i - \bar{X})(Y_i - \bar{Y})}{\sqrt{\sum ^n _{i=1}(X_i - \bar{X})^2} \sqrt{\sum ^n _{i=1}(Y_i - \bar{Y})^2}}.$

一种等价表达式的是表示成标准分的均值。基于(X_i, Y_i)的样本点，样本皮尔逊系数是

$r = \frac{1}{n-1} \sum ^n _{i=1} \left( \frac{X_i - \bar{X}}{\sigma_X} \right) \left( \frac{Y_i - \bar{Y}}{\sigma_Y} \right)$

其中

$\frac{X_i - \bar{X}}{\sigma_X}$ 、 $\bar{X}$ 及 $\sigma_X$

分别是标准分、样本平均值和样本标准差。

数学特性：

总体和样本皮尔逊系数的绝对值小于或等于1。如果样本数据点精确的落在直线上（计算样本皮尔逊系数的情况），或者双变量分布完全在直线上（计算总体皮尔逊系数的情况），则相关系数等于1或-1。皮尔逊系数是对称的：corr(X,Y) = corr(Y,X)。

皮尔逊相关系数有一个重要的数学特性是，因两个变量的位置和尺度的变化并不会引起该系数的改变，即它该变化的不变量 (由符号确定)。也就是说，我们如果把X移动到a + bX和把Y移动到c + dY，其中a、b、c和d是常数，并不会改变两个变量的相关系数（该结论在总体和样本皮尔逊相关系数中都成立）。我们发现更一般的线性变换则会改变相关系数：参见之后章节对该特性应用的介绍。

由于μ_X = E(X), σ_X² = E[(X ? E(X))²] = E(X²) ? E²(X)，Y也类似, 并且

$E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y),\,$

故相关系数也可以表示成

$\rho_{X,Y}=\frac{E(XY)-E(X)E(Y)}{\sqrt{E(X^2)-(E(X))^2}~\sqrt{E(Y^2)- (E(Y))^2}}.$

对于样本皮尔逊相关系数:

r_{xy}=\frac{\sum x_iy_i-n \bar{x} \bar{y}}{(n-1) s_x s_y}=\frac{n\sum x_iy_i-\sum x_i\sum y_i}{\sqrt{n\sum x_i^2-(\sum x_i)^2}~\sqrt{n\sum y_i^2-(\sum y_i)^2}}.

以上方程给出了计算样本皮尔逊相关系数简单的单流程算法，但是其依赖于涉及到的数据，有时它可能是数值不稳定的。

几何学的解释：

对于没有中心化的数据, 相关系数与两条可能的回归线y=g_x(x) 和 x=g_y(y) 夹角的余弦值一致。

对于中心化过的数据 (也就是说, 数据移动一个样本平均值以使其均值为0), 相关系数也可以被视作由两个随机变量向量夹角 $\ \theta$ 的余弦值（见下方）。

一些人^[谁？] 倾向于是用非中心化的相关系数 (non-Pearson-compliant) 。比较如下。

例如，有5个国家的国民生产总值分别为 10, 20, 30, 50 和 80 亿美元。假设这5个国家 (顺序相同) 的贫困百分比分别为 11%, 12%, 13%, 15%, and 18% 。令 x 和 y 分别为包含上述5个数据的向量: x = (1, 2, 3, 5, 8) 和 y = (0.11, 0.12, 0.13, 0.15, 0.18)。

利用通常的方法计算两个向量之间的夹角 $\ \theta$ (参见数量积), 未中心化的相关系数是:

$\cos \theta = \frac { \bold{x} \cdot \bold{y} } { \left\| \bold{x} \right\| \left\| \bold{y} \right\| } = \frac { 2.93 } { \sqrt { 103 } \sqrt { 0.0983 } } = 0.920814711.$

我们发现以上的数据特意选定为完全相关: y = 0.10 + 0.01 x。于是，皮尔逊相关系数应该等于1。将数据中心化 (通过E(x) = 3.8移动 x 和通过 E(y) = 0.138 移动 y ) 得到 x = (?2.8, ?1.8, ?0.8, 1.2, 4.2) 和 y = (?0.028, ?0.018, ?0.008, 0.012, 0.042), 从中，

$\cos \theta = \frac { \bold{x} \cdot \bold{y} } { \left\| \bold{x} \right\| \left\| \bold{y} \right\| } = \frac { 0.308 } { \sqrt { 30.8 } \sqrt { 0.00308 } } = 1 = \rho_{xy},$

皮尔逊距离：

皮尔逊距离度量的是两个变量X和Y，它可以根据皮尔逊系数定义成

$d_{X,Y}=1-\rho_{X,Y}.$

我们可以发现，皮尔逊系数落在 [-1, 1], 而皮尔逊距离落在 [0, 2]。

Python实现：

使用的计算公式为：

 
     from  
     math  
     import  
     sqrt 
    

        
    
 
     def  
     multipl(a,b): 
    
 
          
     sumofab 
     = 
     0.0 
    
 
          
     for  
     i  
     in  
     range 
     ( 
     len 
     (a)): 
    
 
              
     temp 
     = 
     a[i] 
     * 
     b[i] 
    
 
              
     sumofab 
     + 
     = 
     temp 
    
 
          
     return  
     sumofab 
    

        
    
 
     def  
     corrcoef(x,y): 
    
 
          
     n 
     = 
     len 
     (x) 
    
 
          
     #求和 
    
 
          
     sum1 
     = 
     sum 
     (x) 
    
 
          
     sum2 
     = 
     sum 
     (y) 
    
 
          
     #求乘积之和 
    
 
          
     sumofxy 
     = 
     multipl(x,y) 
    
 
          
     #求平方和 
    
 
          
     sumofx2  
     =  
     sum 
     ([ 
     pow 
     (i, 
     2 
     )  
     for  
     i  
     in  
     x]) 
    
 
          
     sumofy2  
     =  
     sum 
     ([ 
     pow 
     (j, 
     2 
     )  
     for  
     j  
     in  
     y]) 
    
 
          
     num 
     = 
     sumofxy 
     - 
     ( 
     float 
     (sum1) 
     * 
     float 
     (sum2) 
     / 
     n) 
    
 
          
     #计算皮尔逊相关系数 
    
 
          
     den 
     = 
     sqrt((sumofx2 
     - 
     float 
     (sum1 
     * 
     * 
     2 
     ) 
     / 
     n) 
     * 
     (sumofy2 
     - 
     float 
     (sum2 
     * 
     * 
     2 
     ) 
     / 
     n)) 
    
 
          
     return  
     num 
     / 
     den 
    

        
    
 
     x  
     =  
     [ 
     0 
     , 
     1 
     , 
     0 
     , 
     3 
     ] 
    
 
     y  
     =  
     [ 
     0 
     , 
     1 
     , 
     1 
     , 
     1 
     ] 
    

        
    
 
     print  
     corrcoef(x,y)  
     #0.471404520791 
    