总体和样本
总体——所要考察对象的全部个体叫做总体。我们总是希望得到总体数据的一些特征(例如均值方差等)
样本——从总体中所抽取的一部分个体叫做总体的一个样本。
计算这些抽取的样本的统计量来估计总体的统计量
皮尔逊Pearson相关系数
总体皮尔逊Pearson相关系数
皮尔逊相关系数也可以看成是剔除了两个变量量纲影响,即将X和Y标准化后的协方差。
样本皮尔逊Pearson相关系数
皮尔逊相关系数的理解误区
皮尔逊相关系数只是用来衡量两个变量线性相关程度的指标;也就是说,你必须先确认这两个变量是线性相关的,然后这个相关系数才能告诉你他俩相关程度如何。因此建模中要先画散点图判断是否是线性相关。
(1)非线性相关也会导致线性相关系数很大,例如图2。
(2)离群点对相关系数的影响很大,例如图3,去掉离群点后,相关系数为0.98。
(3)如果两个变量的相关系数很大也不能说明两者相关,例如图4,可能是受到了异常值的影响。
(4)相关系数计算结果为0,只能说不是线性相关,但说不定会有更复杂的相关关系(非线性相关),例如图5。
两点总结:
(1)如果两个变量本身就是线性的关系,那么皮尔逊相关系数绝对值大的就是相关性强,小的就是相关性弱。
(2)在不确定两个变量是什么关系的情况下,即使算出皮尔逊相关系数,发现很大,也不能说明那两个变量线性相关,甚至不能说他们相关,我们一定要画出散点图来看才行。
比起相关系数的大小,我们往往更关注的是显著性。(假设检验)
计算步骤
第一步:对数据进行描述性统计
方法一:MATLAB
举例:
clear;clc
load 'physical fitness test.mat' %文件名如果有空格隔开,那么需