单高斯分布 MLE
posterior 正比例于 likelihood * prior
p ( θ ∣ x ) ∝ p ( x ∣ θ ) ∗ p ( θ ) p(\theta | x) \propto p(x|\theta) * p(\theta) p(θ∣x)∝p(x∣θ)∗p(θ)
参数 θ 的后验分布 ∝ 参数 θ 表示的 x 分布上已知样本有多大概率 ∗ 参数 θ 的先验分布 参数\theta的后验分布 \propto 参数\theta表示的x分布上已知样本有多大概率 * 参数\theta的先验分布 参数θ的后验分布∝参数θ表示的x分布上已知样本有多大概率∗参数θ的先验分布
参数的后验 ∝ 样本的 l i k e l i h o o d ∗ 参数的先验 参数的后验 \propto 样本的likelihood * 参数的先验 参数的后验∝样本的likelihood∗参数的先验
MLE : max log_likelihood estimator
MAP: max a posterior
混合高斯分布(多个高斯分布混合在一起) MLE
单高斯混合分布, 只需要令: ∂ L ∂ u = 0 \frac{\partial{L}}{\partial{u}}=0 ∂u∂L=0, ∂ L ∂ Σ = 0 \frac{\partial{L}}{\partial{\Sigma}}=0 ∂Σ∂L=0 ; 即可一步到位的精确的求出 u 和 Σ u和\Sigma u和Σ的值
混合高斯分布,由于L中有log(多个式子求和), 而log(多个式子求和)求出导数是可以的, 但 要解 ∂ L ∂ u = 0 \frac{\partial{L}}{\partial{u}}=0