多元函数严格凹 海塞矩阵正定_（多元高斯分布）协方差矩阵的（半）正定/可逆...

先说结论：

1. 协方差矩阵都是半正定（PSD）的
2. 协方差矩阵正定（PD）需要条件，要求满秩
3. 多元高斯分布的协方差矩阵未必是正定（PD）的。

---

1. 首先，证明协方差矩阵半正定（PSD）。比较常见的证明，方法很多。举个例子

2. 然后，证明正定（PD）的条件是满秩。

因为已经证明半正定， 即

, 要证明正定，即证明“=”不成立。可以用反证法：

(知乎输入法不熟)

因为u是非零向量，那么u'z=0有非零解u意味着z不满秩, 即等号成立z不满秩。反之，如果z满秩，则=不能成立，即半正定升级为正定。

3. 多元高斯分布的协方差矩阵Andrew Ng 在 CS229 Leacture Notes, Part X, Factor Analysis 这一节也有讨论。如果sample size n 远小于维度p, 协方差矩阵的逆的确不存在。此时我们通过给sigma加一些约束来改造它。

方法1： fit一个diagonal的sigma; 即各维度之间独立，对角线为各维度的variance的均值.

方法2：sigma不仅是diagonal的，而且所有的对角线元素都相同，即

; 将所有m个sample的variance取平均：

最后，引用一下@Vicktore 关于高斯分布的讨论：