高斯分布

• 高斯分布的数学表达式
  p(x) = \frac{1}{\sqrt{2\pi} \sigma}e^{{-\frac{(x-\mu)}2}{2\sigma^2}}
• 标准高斯分布
  
  当均值变化而方差不变的时候，可以看作将图像进行了平移。当均值不变，而标准差变化的时候，可以看作将图像进行了“挤”或“压”（方差越大越扁）.总结来说，\mu决定了高斯分布的对称轴，\sigma决定了高斯分布的扩散程度.
• 求解高斯分布 即均值和方差
  最大似然估计 MLE

似然函数(Likelihood)
似然指的是在给定模型参数的情况下观测值出现的概率。它被定义成了一个条件概率 p ( { x i } ∣ μ , σ ) p(\{x_i\}|\mu,\sigma) p({xi​}∣μ,σ)。比如，在上一节的小球例子中， { x i } \{x_i\} {xi​}表示所有“黄色”像素点的色相值，如果给定了高斯分布的\mu和\sigma，我们就能算出 { x i } \{x_i\} {xi​}出现的概率。

• 最大似然概率，就是在已知观测的数据的前提下，找到使得似然概率最大的参数值
  $\hat{\mu },\hat{\sigma }=\text{arg}\underset{\mu ,\sigma }{\max }{\prod }_{i=1}^{N}p(x_i|\mu ,\sigma )$

• 多元高斯模型
  p ( x ) = 1 ( 2 π ) D / 2 ∣ Σ ∣ 1 / 2 exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } p(\boldsymbol{x}) = \frac{1}{(2\pi)^{D/2}|\Sigma|^{1/2}}\exp\{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol\mu)^T\Sigma^{-1}(\boldsymbol{x}-\boldsymbol\mu)\} p(x)=(2π)D/2∣Σ∣1/21​exp{−21​(x−μ)TΣ−1(x−μ)}

• 混合高斯模型
  高斯混合模型就是多个单高斯模型的和。它的表达能力十分强，任何分布都可以用GMM来表示。
  $p(\mathbf{x})={\sum }_{k=1}^K{w}_k{g}_k(\mathbf{x}|{\mathbf{\mu }}_k,{\Sigma }_k)$
  其中，g_k是均值为${\mathbf{\mu }}_k$，协方差矩阵为${\Sigma }_k$的单高斯模型，w_k是g_k的权重系数（w_k>0, ${\sum }_{k=1}^K{w}_k=1$），K是单高斯模型的个数。

GMM也有缺点。其一，参数太多了，每一个单高斯模型都有均值、协方差矩阵和权重系数，
另外还有单高斯模型的个数K也是其中一个参数，这使得求解GMM十分复杂。
其二，有时候所建立的高斯混合模型对观测值的建模效果很好，但是其他值可能效果不好，
我们称这个缺点为过度拟合（Overfitting）

• 求解高斯混合模型:EM算法 最大期望算法
  用迭代的思想求解

参考文献
https://zhuanlan.zhihu.com/p/21648507?refer=robotics-learning