Conditional Guassian Distribution 条件高斯分布及其证明

1. 写在前面

       ~~~~~~        本文的公式证明来自陈喜群教授的PPT课件以及以及书本《模式识别与机器学习》,在此特别感谢。想写整个博客的原因也由于是网上的推导过程过于繁琐,陈教授的推导过程较为巧妙,但是由于本人基础较为薄弱,想到可能也有很多和我需求相同的人,因此在这里把我的详细公式推导贴在这里。

2. 高斯分布

2.1 一元高斯分布

       ~~~~~~       ⾼斯分布,也被称为正态分布,⼴泛应⽤于连续型随机变量分布的模型中。对于⼀元变量 x x x的情形,⾼斯分布可以写成下⾯的形式:
N ( x ∣ μ , σ 2 ) = 1 ( 2 π σ 2 ) 1 2 exp ⁡ { − 1 2 σ 2 ( x − μ ) 2 } N\left( x\left| \mu ,\sigma ^2 \right. \right) =\frac{1}{\left( 2\pi \sigma ^2 \right) ^{\frac{1}{2}}}\exp \left\{ -\frac{1}{2\sigma ^2}\left( x-\mu \right) ^2 \right\} N(xμ,σ2)=(2πσ2)211exp{ 2σ21(xμ)2}
       ~~~~~~       其中, μ \mu μ代表均值, σ 2 \sigma ^2 σ2代表方差。对于 D D D维向量 x x x

2.2 多元高斯分布

多元高斯分布的形式为:
N ( x ∣ μ , Σ ) = 1 ( 2 π ) D 2 1 ∣ Σ ∣ 1 2 exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } N\left( x\left| \mu ,\Sigma \right. \right) =\frac{1}{\left( 2\pi \right) ^{\frac{D}{2}}}\frac{1}{\left| \Sigma \right|^{\frac{1}{2}}}\exp \left\{ -\frac{1}{2}\left( x-\mu \right) ^T\Sigma ^{-1}\left( x-\mu \right) \right\} N(xμ,Σ)=(2π)2D1Σ211exp{ 21(xμ)TΣ1(xμ)}
       ~~~~~~       其中, μ \mu μ是一个 D D D维均值向量, Σ \Sigma Σ是一个 D × D D\times D D×D的协方差矩阵, ∣ Σ ∣ |\Sigma| Σ Σ \Sigma Σ的行列式。

3. 条件高斯分布

3.1 准备工作

       ~~~~~~       多元⾼斯分布的⼀个重要性质是,如果两组变量是联合⾼斯分布,那么以⼀组变量为条件,另⼀组变量同样是⾼斯分布。类似地,任何⼀个变量的边缘分布也是 ⾼斯分布
       ~~~~~~        ⾸先考虑条件概率的情形。假设 x x x是一个服从高斯分布 N ( x ∣ μ , Σ ) N(x|\mu,\Sigma) N(xμ,Σ) D D D维度的向量,我们把 x x x划分为两个不相交的子集 x a x_a xa x b x_b xb,不失⼀般性,我们可以令 x a x_a xa为x的前 M M M个分量,令 x b x_b xb为剩余的 D − M D -M DM个分量,因此:
x = ( x a x b ) x=\left( \begin{array}{c} x_a\\ x_b\\\end{array} \right) x=(xaxb)
       ~~~~~~       我们也定义对应的对均值向量 μ \mu μ的划分,即:
μ = ( μ a μ b ) \mu =\left( \begin{array}{c} \mu _a\\ \mu _b\\\end{array} \right) μ=(μaμb)
       ~~~~~~       协⽅差矩阵 Σ \Sigma Σ为:
Σ = ( Σ a a    Σ a b Σ b a    Σ b b ) \Sigma =\left( \begin{array}{c} \Sigma _{aa}\,\,\Sigma _{ab}\\ \Sigma _{ba}\,\,\Sigma _{bb}\\ \end{array} \right) Σ=(

  • 12
    点赞
  • 39
    收藏
    觉得还不错? 一键收藏
  • 6
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值