高斯分布-最大似然估计公式白板推导

在这里插入图片描述
在这里插入图片描述
由上述推导得出结论:
μ M L E = 1 N ∑ i = 1 N x i \mu_{MLE}=\frac{1}{N}\sum\limits _{i=1}^{N}x_{i} μMLE=N1i=1Nxi
σ ^ 2 = 1 N − 1 ∑ i = 1 N ( x i − μ ) 2 \hat{\sigma}^{2}=\frac{1}{N-1}\sum\limits _{i=1}^{N}(x_{i}-\mu)^{2} σ^2=N11i=1N(xiμ)2

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
多元高斯分布是指多维随机变量的联合概率密度函数服从高斯分布,通常用以下公式表示: $$ p(\boldsymbol{x}) = \frac{1}{(2\pi)^{d/2}|\boldsymbol{\Sigma}|^{1/2}}\exp\left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right) $$ 其中,$\boldsymbol{x}$ 是一个 $d$ 维的向量,$\boldsymbol{\mu}$ 是一个 $d$ 维的均值向量,$\boldsymbol{\Sigma}$ 是一个 $d \times d$ 的协方差矩阵。 我们的目标是要通过样本数据来估计参数 $\boldsymbol{\mu}$ 和 $\boldsymbol{\Sigma}$ 的值。根据最大似然估计的原理,我们需要找到一组参数 $\boldsymbol{\mu}_{ML}$ 和 $\boldsymbol{\Sigma}_{ML}$,使得样本数据在这组参数下出现的概率最大。 首先,我们考虑均值 $\boldsymbol{\mu}$ 的最大似然估计。假设我们有 $N$ 个样本数据 $\boldsymbol{x}_1, \boldsymbol{x}_2, \cdots, \boldsymbol{x}_N$,我们的目标是最大化这些样本数据在多元高斯分布下的联合概率密度函数。可以写成如下形式: $$ \begin{aligned} L(\boldsymbol{\mu}, \boldsymbol{\Sigma}) &= \prod_{n=1}^N p(\boldsymbol{x}_n) \\ &= \prod_{n=1}^N \frac{1}{(2\pi)^{d/2}|\boldsymbol{\Sigma}|^{1/2}}\exp\left(-\frac{1}{2}(\boldsymbol{x}_n-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}_n-\boldsymbol{\mu})\right) \\ &= \frac{1}{(2\pi)^{Nd/2}|\boldsymbol{\Sigma}|^{N/2}}\exp\left(-\frac{1}{2}\sum_{n=1}^N(\boldsymbol{x}_n-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}_n-\boldsymbol{\mu})\right) \end{aligned} $$ 对上式取对数,并对 $\boldsymbol{\mu}$ 求偏导数,并令其等于零,可以得到如下的最大似然估计: $$ \boldsymbol{\mu}_{ML} = \frac{1}{N}\sum_{n=1}^N \boldsymbol{x}_n $$ 接下来,我们考虑协方差矩阵 $\boldsymbol{\Sigma}$ 的最大似然估计。同样地,我们要找到一组参数 $\boldsymbol{\Sigma}_{ML}$,使得样本数据在这组参数下出现的概率最大。同样地,我们对样本数据的联合概率密度函数取对数,然后对 $\boldsymbol{\Sigma}$ 求偏导数,并令其等于零,可以得到如下的最大似然估计: $$ \boldsymbol{\Sigma}_{ML} = \frac{1}{N}\sum_{n=1}^N (\boldsymbol{x}_n - \boldsymbol{\mu}_{ML})(\boldsymbol{x}_n - \boldsymbol{\mu}_{ML})^T $$ 这个结果表明,协方差矩阵最大似然估计可以通过样本数据的协方差矩阵来计算。如果我们假设样本数据是独立同分布的,则上述公式可以进一步简化为: $$ \boldsymbol{\Sigma}_{ML} = \frac{1}{N}\sum_{n=1}^N (\boldsymbol{x}_n - \boldsymbol{\mu}_{ML})(\boldsymbol{x}_n - \boldsymbol{\mu}_{ML})^T $$ 这个公式可以直接用于实际计算。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

看星河的兔子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值