概率机器学习笔记

1.单变量高斯混合分布

原书对结果的得出没有给出解释,我比较困惑,网上找到了一篇推导的帖子,看完就明白了。

式2.49的解释:

红框即为关键处,这是显而易见的期望,不过是条件方差的期望:

该证明的作者:@MISC {16609,
    TITLE = {What is the variance of the weighted mixture of two gaussians?},
    AUTHOR = {whuber (https://stats.stackexchange.com/users/919/whuber)},
    HOWPUBLISHED = {Cross Validated},
    NOTE = {URL:https://stats.stackexchange.com/q/16609 (version: 2015-05-20)},
    EPRINT = {https://stats.stackexchange.com/q/16609},
    URL = {https://stats.stackexchange.com/q/16609}
}

这是一个完美的 \mathbb{V}\left[X\right]=E_Y\left[\mathbb{V}\left.\left[X\mid Y\right]\right]+\mathbb{V}_Y\left[\begin{array}{c}\mu_{X\mid Y}\end{array}]\right.\right.的推导。

E_Y\left[\mathbb{V}\left.\left[X\mid Y\right]\right]\right.=\sum_i{p_i \sigma^2_i}

\mathbb{V}_Y\left[\begin{array}{c}\mu_{X\mid Y}\end{array}]\right.={\sum_i{p_i\left(\mu_i^{(1)}\right)^2}-\left(\sum_i{p_i\mu_i^{(1)}}\right)^2.}

式2.50的解释:

在刚刚的推导里如下公式,按这个也可以解

但是作者的思路用了\overline{\mu},这就让人看不懂,所以询问了GPT,GPT给出了解答: 

 这两个证明都是基于直觉的,所以容易理解。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值