数学建模——相关系数（2）——假设检验

一、引述

在上一篇文章中，我们已经介绍了如何求解Person相关系数。那么如何解释相关系数的大小呢？事实上，如果我们只是通过相关系数大小去判断两个变量之间的相关性，这种做法是不严谨的。因为对相关系数的解释依赖于具体的应用背景和目的的。因此，相比较于相关系数的大小，我们往往更关注于显著性。而求解显著性，则需要假设检验方法。

二、假设检验

请仔细阅览下一部分。

三、对皮尔逊系数进行假设检验

1. 步骤

1. 提出原假设（零假设）H₀和备择假设H₁（两者假设是截然相反的）。
   假设我们得到了一个皮尔逊相关系数r，我们想检验它是否显著的异于0，那么我们可以这样设定原假设和备择假设：H₀：r = 0，H₁：r ≠ 0。（通常来说，备择假设才是研究者最想知道的）（r ≠ 0，是一个双侧检验，因为其可以分为两个单侧检验：r > 0, r < 0）

2. 在原假设成立的条件下，利用我们要检验的量构造出一个符合某一分布的统计量。（统计量相当于我们要检验的量的一个函数，里面不能有其他的随机变量）（分布一般有四种：标准正态分布、t 分布、卡方分布、F分布）
   对于皮尔逊相关系数r而言，在满足一定条件下，我们可以构造统计量（式子中n为已知的样本量）：
   
   可以证明，t是服从自由度为n-2的t分布。

3. 将我们要检验的r值代入该统计量中，可以得到一个特定的值（检验值，在之后的步骤中我们要看这个检验值是放到）。
   例如，我们计算出的相关系数r = 0.5，样本量n = 30，那么我们可以求出 t = 3.05505

4. 由于我们知道统计量的分布情况，因此我们可以画出该分布的概率密度函数pdf，并给定一个置信水平α（愿意接受H₀成立的概率），根据这个置信水平查表找到临界值，并画出检验统计量的接受域和拒绝域。
   紧接之前的例子，我们知道上述统计量服从自由度为28（30-2）的t分布，其概率密度函数图形如下：
   使用matlab绘制该概率密度函数pdf的代码如下：

    x = -4:0.1:4; % x从-4取到4间隔为0.1
    y = tpdf(x,28); % 第一个参数为给定的一组数据，第二个参数是自由度
    plot(x,y,'-') % 绘制图线
    grid on  % 在画出的图上加上网格线
   

   常见的置信水平有三个：90%，95%和99%，其中95%是最为常用的。
   
   通过查t分布表，我们可知当自由度为28，置信水平为95%时，临界值为2.048，因此我们可以做出如下的接受域和拒绝域。
   [因为我们采用的是双侧检验，因为置信水平为0.95，则拒绝域之和为0.05，即，一侧为0.025。所以，其对应的t分布表中的t_p = 0.975，于是再根据自由度28，即可锁定临界值2.048]
   

5. 看我们在第三步得到的检验值是落在了拒绝域还是接受域，并下结论。
   在第三步中，我们得到的检验值 t = 3.05505 > 2.048*，因此我们可以下结论：在95%的置信水平上，我们拒绝原假设H₀：r = 0，因此，r是显著的不为0的。

2.更好用的方法：p值判断法

1. 何为p值？
   p值是一种概率，是拒绝原假设的最小显著性水平，是用于确定是否应该拒绝原假设的另一种方法。
2. 如何使用？
   在上述步骤的第三步中，我们得到了一个检验值 t* = 3.05505，根据该值，我们计算其对应的p值(即，(1-红色方块区域左侧的概率)，但是在本例中，由于采用的是双侧检验，因此应当×2，即(1 - 红色方块区域左侧的概率)×2)。
   matlab代码对应如下：

   disp('该检验值对应的p值为：')
   disp((1-tcdf(3.055,28)) * 2) 
   % 双侧检验的p值要乘以2，tcdf是t分布的累计概率密度函数
   % tcdf(3.055,28)指x=3.055且自由度为28的累积密度函数
   

   最后我们计算得到的p值为0.0049

   p值的意义：
   	p < 0.01，说明在99%的置信水平上拒绝原假设；
   	p < 0.05，说明在95%的置信水平上拒绝原假设；
   	p < 0.10，说明在90%的置信水平上拒绝原假设；
   同理，可得：
   	p > 0.01，说明在99%的置信水平无法拒绝原假设；
   	p > 0.05，说明在95%的置信水平无法拒绝原假设；
   	p > 0.10，说明在90%的置信水平无法拒绝原假设。
   

   ∵ p = 0.0049 < 0.05
   ∴ 本例中，在95%的置信水平上拒绝原假设，即皮尔逊相关系数显著的异于0.

注：在论文写作中我们通常使用以下方式确定该相关系数的显著性：

相关系数	" * "的意义
0.5	不显著，即无法拒绝原假设
0.5*	在90%的置信水平上显著，即在90%的置信水平上拒绝原假设
0.5**	在95%的置信水平上显著，即在95%的置信水平上拒绝原假设
0.5***	在99%的置信水平上显著，即在99%的置信水平上拒绝原假设

三、皮尔逊相关系数检验的条件

1. 实验数据通常是成对的来自于正态分布的总体。
   因为我们在求出皮尔逊相关系数以后，通常还会用t检验之类的方法进行皮尔逊相关系数检验，而t检验是基于数据呈正态分布的假设的。
2. 实验数据之间的差距不能太大。皮尔逊相关系数受异常值影响较大（详情见第一节图）。
3. 每组样本之间是独立抽样的。构造t统计量时需要用到。

相关参考资料：百度百科、百度文库、清风数学建模