数学基础（二）——参数估计与矩阵运算基础

                            参数估计与矩阵运算基础

ps: 个人笔记 根据视频和PDF学习

1 期望

离散型：

连续型：

即：概率加权下的“平均值”

期望的性质

无条件成立   

         

若X和Y相互独立 

    反之不成立。事实上，若E(XY)=E(X)E(Y)，只能说明X和Y不相关。

    关于不相关和独立的区别，稍后马上给出。

2 方差

定义    

 

无条件成立  

                  

X和Y独立

      

才可以成立。

此外，方差的平方根，称为标准差

3 协方差

定义

 

性质：

协方差和独立、不相关

X和Y独立时， 

       

而   

     

从而，当X和Y独立时，

但X和Y独立这个前提太强，我们定义：若Cov(X,Y)=0，称X和Y不相关。因为独立时，肯定协方差为0；但是协方差为0，并不一定独立，所以提出不相关的概念。

协方差的意义

协方差是两个随机变量具有相同方向变化趋势的度量；

若Cov(X,Y)>0，它们的变化趋势相同，

若Cov(X,Y)<0，它们的变化趋势相反；

若Cov(X,Y)=0，称X和Y不相关。

思考：两个随机变量的协方差，是否有上界？

协方差的上界

若

则

当且仅当X和Y之间有线性关系时，等号成立。

再谈独立与不相关

因为上述定理的保证，使得“不相关”事实上即“ 线性独立 ”。
即：若X与Y不相关，说明X与Y之间 没有线性关系(但有可能存在其他函数关系) ，不能保证X和Y相互独立。PS：紧紧是线性独立。

⭐但对于二维正态随机变量，X与Y不相关等价于X与Y相互独立。

4 相关系数

定义

由协方差上界定理可知，

当且仅当X与Y有线性关系时，等号成立

容易看到，相关系数是标准尺度下的协方差。上面关于协方差与XY相互关系的结论，完全适用于相关系数和XY的相互关系。

协方差矩阵

对于n维随机向量(X 1 ,X 2 …X n )，任意两个元素