机器学习-白板推导 P2_3

高斯分布的局限性

1. $\Sigma$参数个数为$\frac{p(p+1)}{2}=O(p^2)$,参数过多不利于学习
   对$\Sigma$做简化：
   $\Sigma$->对角矩阵->${\lambda }_1={\lambda }_2=...={\lambda }_n$->各向同性
   如果$\Sigma$为对角矩阵
   $$\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_p\end{array}\right]$$
   图像如下：
   
   如果:${\lambda }_1={\lambda }_2=...={\lambda }_n$
   图像如下：
   
   2.单个高斯模型某些时候无法拟合数据