基本概念-随时更新

1期望

单变量：

P(x)是离散概率分布函数，自变量x取值{x1,x2,..,xn}

p(x)是连续概率密度函数

2方差

协方差特例

3协方差

两个随机变量的协方差被定义为：

因此方差是一种特殊的协方差。当x=y时，

独立变量的协方差为0

4随机变量

4.1离散随机变量

离散随机变量：

期望：

协方差矩阵：

是对称矩阵,对角线元素为每个分量各自的方差，是非负的；非对角线元素为 各分量的协方差，，可能为正可能为负。

若各分量统计独立，那非对角线元素为0，协方差矩阵是对角矩阵。

协方差的重要性质之一：

半正定性：即对于任意向量  ,标量 ,这与要求协方差矩阵的各本征值为非负是等价的。