2021年3月24日 方差/标准差 理解
一. 概念
1、均方差就是标准差,标准差就是均方差
2、方差 是各数据偏离平均值 差值的平方和 的平均数
3、均方误差(MSE)是各数据偏离真实值 差值的平方和 的平均数
4、方差是平均值,均方误差是真实值。
总的来说,方差是数据序列与均值的关系,而均方误差是数据序列与真实值之间的关系,所以我们只需注意区分 真实值和均值 之间的关系就行了。
ps:平均数有如下几个类别:
算数平均数:
几何平均数:数据之间多为等比关系时使用,不用考虑量纲。会遮蔽可能具有较大影响的大数值。
调和平均数:它有助于处理包含长度或周期不同的比率的数据集
以下不等关系成立:
调和平均数 ≤ 几何平均数 ≤ 算术平均数
二. matlab
std 默认 flag=0
除以n-1,不是n
为了保证估计的一致性:所以,对于总体是/n,对于样本/n-1
matlab std函数公式
若要求整体方差,即除数不是n-1而是n,使用var(x,1)即可。
matlab var函数公式
均值=样本均值
均方差=标准差
样本方差 n-1
整体方差 n
标准差是方差的平方根,标准差能反映一个数据集的离散程度.
方差反映随机变量和均值之间的偏离程度.
一个是方差,一个是样本方差,除以n的是我们平常用的方差,在进行估计时就用样本方差,因为样本有无穷多个,可以通过抽取一个样本集,以它的方差作为该随机变量方差的估计。当该样本集的样本数N趋于正无穷时,可以证明除以N-1才是无偏的,即收敛于该随机变量的方差;除以N是有偏的。
因此采用无偏估计时除以N-1,而不是除以N。
————————————————
版权声明:本文为CSDN博主「aojiancc2」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/aojiancc2/article/details/12831181
样本方差的计算公式:
为什么样本方差要除以(n-1)而不是除以n?为了解决这个疑惑,我们需要具备一点统计学的知识基础,关于总体、样本、期望(均值)、方差的定义以及统计估计量的评选标准。
有了这些知识基础之后,我们会知道样本方差之所以要除以(n-1)是因为这样的方差估计量才是关于总体方差的无偏估计量。这个公式是通过修正下面的方差计算公式而来的:
修正过程为:
我们看到的其实是修正后的结果:
符号说明:
前面说过样本方差之所以要除以(n-1)是因为这样的方差估计量才是关于总体方差的无偏估计量。在公式上来讲的话就是样本方差的估计量的期望要等于总体方差。如下:
但是没有修正的方差公式,它的期望是不等于总体方差的
也就是说,样本方差估计量如果是用没有修正的方差公式来估计总计方差的话是有偏差的
下面给出比较好理解的公式推导过程:
也就是说,除非否则一定会有
需要注意的是不等式右边的才是的对方差的“正确”估计,但是我们是不知道真正的总体均值是多少的,只能通过样本的均值来代替总体的均值。所以样本方差估计量如果是用没有修正的方差公式来估计总计方差的话是会有偏差,是会低估了总体的样本方差的。为了能无偏差的估计总体方差,所以要对方差计算公式进行修正,修正公式如下:
这种修正后的估计量将是总体方差的无偏估计量,面将会给出这种修正的一个来源;
证明:
为了能搞懂这种修正是怎么来的,首先我们得有下面几个等式:
1.方差计算公式:
2. 均值的均值、方差计算公式:
对于没有修正的方差计算公式我们有:
因为:
所以有:
在这里如果想修正的方差公式,让修正后的方差公式求出的方差的期望为总体方差的话就需要在没有修正的方差公式前面加上来进行修正,即:
所以就会有这样的修正公式:
而我们看到的都是修正后的最终结果:
这就解释了为什么要对方差计算公式进行修正,且为什么要这样修正。