本文探讨了概率模型中的单高斯分布最大似然估计（MLE）和最大后验估计（MAP），并重点讲解了混合高斯分布的MLE。在混合高斯分布的求解中，由于计算复杂性，通常使用EM（期望最大化）算法进行迭代求解。EM算法通过初始化参数，然后不断迭代优化，以找到最佳的中心点（均值u）和形状（协方差矩阵Σ）。文章还提到了EM算法的收敛性质及其在手写数字数据集上的应用示例。
单高斯分布 MLE
posterior 正比例于 likelihood * prior
p ( θ ∣ x ) ∝ p ( x ∣ θ ) ∗ p ( θ ) p(\theta | x) \propto p(x|\theta) * p(\theta) p(θ∣x)∝p(x∣θ)∗p(θ)
参数 θ 的后验分布 ∝ 参数 θ 表示的 x 分布上已知样本有多大概率 ∗ 参数 θ 的先验分布 参数\theta的后验分布 \propto 参数\theta表示的x分布上已知样本有多大概率 * 参数\theta的先验分布 参数θ的后验分布∝参数θ表示的x分布上已知样本有多大概率∗参数θ的先验分布
参数的后验 ∝ 样本的 l i k e l i h o o d ∗ 参数的先验 参数的后验 \propto 样本的likelihood * 参数的先验 参数的后验∝样本的likelihood∗参数的先验
MLE : max log_likelihood estimator
MAP: max a posterior
混合高斯分布（多个高斯分布混合在一起） MLE
单高斯混合分布, 只需要令: ∂ L ∂ u = 0 \frac{\partial{L}}{\partial{u}}=0 ∂u∂L=0， ∂ L ∂ Σ = 0 \frac{\partial{L}}{\partial{\Sigma}}=0 ∂Σ∂L=0 ； 即可一步到位的精确的求出 u 和 Σ u和\Sigma u和Σ的值
混合高斯分布，由于L中有log(多个式子求和)， 而log(多个式子求和)求出导数是可以的， 但 要解 ∂ L ∂ u = 0 \frac{\partial{L}}{\partial{u}}=0
最低0.47元/天 解锁文章
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
