先前关于学讲了很多,概率论,参数估计,还有一些统计量等等,有些讲了定义,有些没讲,有些有公式,有些没有公式,比较零散,所以这篇推文就这些内容做一个汇总,方便今后的查看~
part 1:重要统计量
一、期望:加权平均值
离散型定义:
连续性定义:
期望的性质
1.E(C)=C
2.E(CX)=CE(X)
3.E(X+Y)=E(X)+E(Y)
4.如果X和Y独立,则E(XY)=E(X)E(Y)
二、方差:相对于期望的偏离程度
方差性质:
1.D(c)=0
2.D(X+c)=D(X)
3.D(kX)=k^2*D(X)
4.D(X+Y)=D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)}
如果X和Y独立,则D(X+Y)=D(X)+D(Y)
三、协方差(可用来降维):
定义:Cov(X,Y)=E{[X-E(X)][Y-E(Y)}=E(XY)-E(X)E(Y)
协方差性质:
Cov(X,Y)=Cov(Y,X)
Cov(aX+b,cY+d)=acCov(X,Y)
Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)
四、独立、互斥、不相关
独立定义:P(XY)=P(X)P(Y)
互斥定义:P(XY)=0
不相关定义:Cov(X,Y)=0
X和Y独立
=>E(XY)=E(X)E(Y)
=>Cov(X,Y)=0
=>X和Y不相关
故X和Y独立可推出二者不相关,反之不成立。
不相关本质上指线性独立,即X和Y之间没有线性关系,但二者可能存在其他关系,所以不能保证X和Y独立。
但是,特别的,对于二维正态随机变量,X和Y不相关等价于X和Y独立。
五、协方差矩阵:
设n个随机变量(X1,X2,....Xn),Cij=Cov(Xi,Xj)都存在,则称矩阵
为协方差矩阵。由于Cij=Cji,所以上述矩阵为对阵矩阵。
六、协方差的上界
当且仅当X、Y有线性关系时,等号成立。
七、相关系数:
八、矩
对于随机变量X,X的k阶原点矩为:
X的k阶中心距为:
注:期望为一阶原点矩,方差为二阶中心距
part 2:参数估计
一.样本统计量
计算样本方差的时候为什么不是除以n而是n-1呢?
为了得到无偏估计。
由此可得:
上式是基于期望μ已知的情况下计算的结果,现在考虑μ未知的情况。
我们使用样本均值代替μ,有
所以,除非样本均值恰好等于随机变量X的期望μ,否则我们一定有
这就说明了除以n是有误差的,但是,依然没有说明为啥要除以n-1。
二.样本的矩
2.k阶样本中心矩
三.矩估计
基于样本矩依概率收敛于相应的总体矩,样本矩的连续函数依概率收敛于相应的总体矩的连续函数,我们使用样本矩作为相应的总体矩的估计量,而以样本矩的连续函数作为相应的总体矩的连续函数的估计量,这种估计方法为矩估计法。