【清风数学建模笔记】第五讲：相关系数

小萨摩！

已于 2023-01-19 23:55:22 修改

阅读量1.1k

点赞数 6

分类专栏：数学建模文章标签：数学建模 matlab 美赛

于 2023-01-19 23:52:15 首次发布

本文链接：https://blog.csdn.net/manerzi/article/details/128738879

版权

数学建模专栏收录该内容

14 篇文章 28 订阅

订阅专栏

本讲我们将介绍两种最为常用的相关系数：皮尔逊pearson相关系数和斯皮尔曼spearman等级相关系数。它们可用来衡量两个变量之间的相关性的大小，根据数据满足的不同条件，我们要选择不同的相关系数进行计算和分析（建模论文中最容易用错的方法）

文章目录

一、皮尔逊相关系数

1、总体和样本

总体——所要考察对象的全部个体叫做总体.
我们总是希望得到总体数据的一些特征（例如均值方差等）
样本——从总体中所抽取的一部分个体叫做总体的一个样本

计算这些抽取的样本的统计量来估计总体的统计量：
例如使用样本均值、样本标准差来估计总体的均值（平均水平）和总体的标准差（偏离程度）。

2、总体皮尔逊Pearson相关系数

在这里插入图片描述

直观理解协方差：如果X、Y变化方向相同，即当X大于（小于）其均值时，Y也大于（小于）其均值，在这两种情况下，乘积为正。如果X、Y的变化方向一直保持相同，则协方差为正；同理，如果X、Y变化方向一直相反，则协方差为负；如果X、Y变化方向之间相互无规律，即分子中有的项为正，有的项为负，那么累加后正负抵消。
注意：协方差的大小和两个变量的量纲有关，因此不适合做比较。

在这里插入图片描述
皮尔逊相关系数也可以看成是剔除了两个变量量纲影响，即将X和Y标准化后的协方差。

3、样本皮尔逊Pearson相关系数

在这里插入图片描述

注意样本方差分母是n-1

4、关于皮尔逊相关系数的一些理解误区

在这里插入图片描述
这里的相关系数只是用来衡量两个变量线性相关程度的指标；也就是说，你必须先确认这两个变量是线性相关的，然后这个相关系数才能告诉你他俩相关程度如何。

5、容易忽视和犯错的点

在这里插入图片描述

（1）非线性相关也会导致线性相关系数很大，例如图2。
（2）离群点对相关系数的影响很大，例如图3，去掉离群点后，相关系数为0.98。
（3）如果两个变量的相关系数很大也不能说明两者相关，例如图4，可能是受到了异常值的影响。
（4）相关系数计算结果为0，只能说不是线性相关，但说不定会有更复杂的相关关系（非线性相关），例如图5。

6、两点总结

在这里插入图片描述
（1）如果两个变量本身就是线性的关系，
那么皮尔逊相关系数绝对值大的就是相关性
强，小的就是相关性弱；
（2）在不确定两个变量是什么关系的情况
下，即使算出皮尔逊相关系数，发现很大，
也不能说明那两个变量线性相关，甚至不能
说他们相关，我们一定要画出散点图来看才
行。

7、对相关系数大小的解释

在这里插入图片描述

上表所定的标准从某种意义上说是武断的和不严格的。对相关系数的解释是依赖于具体的应用背景和目的的。

事实上，比起相关系数的大小，我们往往更关注的是显著性。（假设检验）

8、例题

在这里插入图片描述

描述性统计

在这里插入图片描述

这些函数根据参数的不同有多种用法，我们这里用到的只是其最简单的功能，但这对建模已经足够了，需要用到高级功能的同学可以百度这些函数的用法。

结果演示

在这里插入图片描述

EXCEL的数据分析工具

在这里插入图片描述
标题栏：数据 – 数据分析

在这里插入图片描述

EXCEL描述性统计结果

在这里插入图片描述

SPSS描述性统计结果

在这里插入图片描述

矩阵散点图

在计算皮尔逊相关系数之前,一定要做出散点图来看两组变量之间是否有线性关系这里使用Spss比较方便: 图形 ‐ 旧对话框 ‐ 散点图/点图 ‐ 矩阵散点图

在这里插入图片描述

9、皮尔逊相关系数的计算

corrcoef函数： correlation coefficient相关系数
R = corrcoef(A)
返回 A 的相关系数的矩阵，其中 A 的列表示随机变量（指标），行表示观测值（样本）。
R = corrcoef(A,B)
返回两个随机变量 A 和 B （两个向量）之间的系数。
我们要计算体测的六个指标之间的相关系数，只需要使用下面这个语句：
R = corrcoef(Test);
在这里插入图片描述

10、如何美化相关系数表

在这里插入图片描述

11、对皮尔逊相关系数进行假设检验

在这里插入图片描述

注：在数理统计中，这里的原假设和备择假设中的𝑟应该改为𝜌, 其中𝜌为未知的总体相关系数，实际上我们关心的是总体的统计特征。但为了方便大家理解，在这里我们做了简化，非统计专业的同学理解到这个程度就足够了。

在这里插入图片描述

12、更好用的方法：p值判断法

在这里插入图片描述

12、计算各列之间的相关系数以及p值

一行代码：[R,P] = corrcoef(Test)
R返回的是相关系数表，P返回的是对应于每个相关系数的p值
在这里插入图片描述

Matlab计算的是双侧检验的p值，如果需要单侧的话只需要除以2即可。

14、皮尔逊相关系数假设检验的条件

第一，实验数据通常假设是成对的来自于正态分布的总体。因为我们在求皮尔逊相关性系数以后，通常还会用t检验之类的方法来进行皮尔逊相关性系数检验，而t检验是基于数据呈正态分布的假设的。
第二，实验数据之间的差距不能太大。皮尔逊相关性系数受异常值的影响比较大。
第三，每组样本之间是独立抽样的。构造t统计量时需要用到

15、检验是否为正态分布

正态分布JB检验（大样本 n>30）

在这里插入图片描述

偏度和峰度

在这里插入图片描述
相关代码

MATLAB结果

MATLAB中进行JB检验的语法：[h,p] = jbtest(x,alpha)
当输出h等于1时，表示拒绝原假设；h等于0则代表不能拒绝原假设。
alpha就是显著性水平，一般取0.05，此时置信水平为1‐0.05=0.95
x就是我们要检验的随机变量，注意这里的x只能是向量。
相关代码

在这里插入图片描述

小样本3≤n≤50：Shapiro-wilk检验

在这里插入图片描述

另一种常见的方法：Q-Q图

在统计学中，Q‐Q图（Q代表分位数Quantile）是一种通过比较两个概率分布的分位数对这两个概率分布进行比较的概率图方法。

首先选定分位数的对应概率区间集合，在此概率区间上，点(x,y)对应于第一个分布的一个分位数x和第二个分布在和x相同概率区间上相同的分位数。

这里，我们选择正态分布和要检验的随机变量，并对其做出QQ图，可想而知，如果要检验的随机变量是正态分布，那么QQ图就是一条直线。

要利用Q‐Q图鉴别样本数据是否近似于正态分布,只需看Q‐Q图上的点是否近似地在一条直线附近。（要求数据量非常大）

在这里插入图片描述

二、斯皮尔曼spearman相关系数

在这里插入图片描述
注：如果有的数值相同，则将它们所在的位置取算术平均。

在这里插入图片描述

1、另一种斯皮尔曼spearman相关系数的定义

斯皮尔曼相关系数被定义成等级之间的皮尔逊相关系数
在这里插入图片描述

2、 MATLAB中计算斯皮尔曼相关系数

两种用法
（1）corr(X , Y , ‘type’ , ‘Spearman’)
这里的X和Y必须是列向量哦~
（2）corr(X , ‘type’ , ‘Spearman’)
这时计算X矩阵各列之间的斯皮尔曼相关系数

在这里插入图片描述

3、斯皮尔曼相关系数的假设检验

分为小样本和大样本两种情况:
小样本情况，即𝒏 ≤𝟑𝟎时，直接查临界值表即可。
在这里插入图片描述

在这里插入图片描述

三、两个相关系数的比较

斯皮尔曼相关系数和皮尔逊相关系数选择:
1.连续数据，正态分布，线性关系，用pearson相关系数是最恰当，当然用spearman相关系数也可以，就是效率没有pearson相关系数高。
2.上述任一条件不满足，就用spearman相关系数，不能用pearson相关系数。
3.两个定序数据之间也用spearman相关系数，不能用pearson相关系数。

定序数据是指仅仅反映观测对象等级、顺序关系的数据，是由定序尺度计量形成的，表现为类别，可以进行排序，属于品质数据。

在这里插入图片描述

注：斯皮尔曼相关系数的适用条件比皮尔逊相关系数要广，只要数据满足单调关系（例如线性函数、指数函数、对数函数等）就能够使用。

四、相关代码

clear;clc
load 'physical fitness test.mat'  %文件名如果有空格隔开，那么需要加引号
% https://ww2.mathworks.cn/help/matlab/ref/corrcoef.html

%% 统计描述
MIN = min(Test);  % 每一列的最小值
MAX = max(Test);   % 每一列的最大值
MEAN = mean(Test);  % 每一列的均值
MEDIAN = median(Test);  %每一列的中位数
SKEWNESS = skewness(Test); %每一列的偏度
KURTOSIS = kurtosis(Test);  %每一列的峰度
STD = std(Test);  % 每一列的标准差
RESULT = [MIN;MAX;MEAN;MEDIAN;SKEWNESS;KURTOSIS;STD]  %将这些统计量放到一个矩阵中表示

%% 计算各列之间的相关系数
% 在计算皮尔逊相关系数之前,一定要做出散点图来看两组变量之间是否有线性关系
% 这里使用Spss比较方便: 图形 - 旧对话框 - 散点图/点图 - 矩阵散点图

R = corrcoef(Test)   % correlation coefficient

%% 假设检验部分
x = -4:0.1:4;
y = tpdf(x,28);  %求t分布的概率密度值 28是自由度  
figure(1)
plot(x,y,'-')
grid on  % 在画出的图上加上网格线
hold on  % 保留原来的图，以便继续在上面操作
% matlab可以求出临界值，函数如下
tinv(0.975,28)    %    2.0484
% 这个函数是累积密度函数cdf的反函数
plot([-2.048,-2.048],[0,tpdf(-2.048,28)],'r-')
plot([2.048,2.048],[0,tpdf(2.048,28)],'r-')

%% 计算p值
x = -4:0.1:4;
y = tpdf(x,28);
figure(2)
plot(x,y,'-')
grid on 
hold on
% 画线段的方法
plot([-3.055,-3.055],[0,tpdf(-3.055,28)],'r-')
plot([3.055,3.055],[0,tpdf(3.055,28)],'r-')
disp('该检验值对应的p值为：')
disp((1-tcdf(3.055,28))*2)  %双侧检验的p值要乘以2

%% 计算各列之间的相关系数以及p值
[R,P] = corrcoef(Test)
% 在EXCEL表格中给数据右上角标上显著性符号吧
P < 0.01  % 标记3颗星的位置
(P < 0.05) .* (P > 0.01)  % 标记2颗星的位置
(P < 0.1) .* (P > 0.05) % % 标记1颗星的位置
% 也可以使用Spss操作哦

%% 正态分布检验
% 正态分布的偏度和峰度
x = normrnd(2,3,100,1);   % 生成100*1的随机向量，每个元素是均值为2，标准差为3的正态分布
skewness(x)  %偏度
kurtosis(x)  %峰度
qqplot(x)
    
% 检验第一列数据是否为正态分布
[h,p] = jbtest(Test(:,1),0.05)
[h,p] = jbtest(Test(:,1),0.01)

% 用循环检验所有列的数据
n_c = size(Test,2);  % number of column 数据的列数
H = zeros(1,6);  % 初始化节省时间和消耗
P = zeros(1,6);
for i = 1:n_c
    [h,p] = jbtest(Test(:,i),0.05);
    H(i)=h;
    P(i)=p;
end
disp(H)
disp(P)

% Q-Q图
qqplot(Test(:,1))

%% 斯皮尔曼相关系数
X = [3 8 4 7 2]'  % 一定要是列向量哦，一撇'表示求转置
Y = [5 10 9 10 6]'
% 第一种计算方法
1-6*(1+0.25+0.25+1)/5/24

% 第二种计算方法
coeff = corr(X , Y , 'type' , 'Spearman')
% 等价于：
RX = [2 5 3 4 1]
RY = [1 4.5 3 4.5 2]
R = corrcoef(RX,RY)

% 计算矩阵各列的斯皮尔曼相关系数
R = corr(Test, 'type' , 'Spearman')

% 大样本下的假设检验
% 计算检验值
disp(sqrt(590)*0.0301)
% 计算p值
disp((1-normcdf(0.7311))*2) % normcdf用来计算标准正态分布的累积概率密度函数

% 直接给出相关系数和p值
[R,P]=corr(Test, 'type' , 'Spearman')

% % 注意：代码文件仅供参考，一定不要直接用于自己的数模论文中
% % 国赛对于论文的查重要求非常严格，代码雷同也算作抄袭