数学小抄: Gaussian Product

平凡矩阵

已于 2022-09-21 09:09:22 修改

阅读量248

点赞数

分类专栏：数学文章标签：机器学习算法概率论

于 2022-09-21 09:08:13 首次发布

本文链接：https://blog.csdn.net/nkc555/article/details/126965038

版权

数学专栏收录该内容

15 篇文章 0 订阅

订阅专栏

前言

本篇博客可以看作是上一篇Gaussian基础操作博客的续篇。在这篇博客中我将会摘抄一个关于Gaussian Product的推导过程。Gaussian Product是两个Gaussian分布函数通过乘积合而为一的操作，在状态估计一书中有过介绍。本篇博客主要集中于其系数的推导。

正文

Gaussian Product
$\rm{exp}(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})) = \boldsymbol{\eta}\prod^K_{k=1}\rm{exp}(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}))$
其中, $\Sigma^{-1}=\sum^K_{k=1}\Sigma^{-1}_k$ , $\Sigma^{-1}\mu^2=\sum^N_{k=1}\Sigma^{-1}_k\mu^2_k$
比如:
$\begin{split} &\rm{exp}((x-\mu_1)\Sigma^{-1}_1(x-\mu_1))\rm{exp}((x-\mu_2)^{-1}\Sigma^{-1}_2(x-\mu_2))\\ &=\rm{exp}(\Sigma^{-1}_1x^2-2\Sigma^{-1}_1\mu_1+\Sigma^{-1}_1\mu^2_1+\Sigma^{-1}_2x^2-2\Sigma^{-1}_2\mu_2+\Sigma^{-1}_2\mu^2_2)\\ &=\rm{exp}((\Sigma^{-1}_1+\Sigma^{-1}_2)x^2-(2\Sigma^{-1}_1\mu_1+2\Sigma^{-1}_2\mu_2)x+\Sigma^{-1}_1\mu^2_1+\Sigma^{-1}_2\mu^2_2) \end{split}$
对比: $\rm{exp}((x-\mu_1)\Sigma^{-1}_1(x-\mu_1))=\rm{exp}(\Sigma^{-1}_1x^2-2\Sigma^{-1}_1\mu_1+\Sigma^{-1}_1\mu^2_1)$
有:
$\Sigma^{-1}=\Sigma^{-1}_1+\Sigma^{-1}_2$ , $\Sigma^{-1}\mu^2=\Sigma^{-1}_1\mu^2_1+\Sigma^{-1}_2\mu^2_2$
而中间的那一项通过下面的配方公式有:
$\begin{split} (x-k)^2&=x^2-2xk+k^2\\ Ax^2+Bx+C &= A(x^2+\frac{B}{A}x+\frac{C}{A})\\ \end{split} \\ \begin{split} \frac{B}{A}&=-2k\\ k&=\frac{-B}{2A}\\ \frac{C}{A}+\delta &=\frac{B^2}{4A^2}\\ \delta &= \frac{B^2}{4A^2}-\frac{C}{A} \end{split} \\ \begin{split} Ax^2+Bx+C&=A(x^2-k^2)-A\delta \end{split}$
$\begin{split} A &= \Sigma^{-1}_1+\Sigma^{-1}_2\\ B &= -2(\Sigma^{-1}_1\mu_1+\Sigma^{-1}_2\mu_2)\\ C &= \Sigma^{-1}_1\mu^2_1+\Sigma^{-1}_2\mu^2_2\\ k &= \frac{-B}{2A} = \frac{\mu_1/\sigma^2_1+\mu_2/\sigma^2_2}{1/\sigma^2_1+1/\sigma^2_2}\\ A\delta &= \frac{B^2}{4A}-C\\ \frac{B^2}{4A}&=\frac{4(\mu^2_1/\sigma^4_1+\mu^2_2/\sigma^4_2+2\mu_1\mu_2/\sigma^2_1\sigma^2_2)}{4(1/\sigma^2_1+1/\sigma^2_2)} \\ &=\frac{\sigma^2_1\sigma^2_2}{\sigma^2_1+\sigma^2_2}(\mu^2_1/\sigma^4_1+\mu^2_2/\sigma^4_2+2\mu_1\mu_2/\sigma^2_1\sigma^2_2)\\ &=\frac{1}{\sigma^2_1+\sigma^2_2}(\mu^2_1\sigma^4_2/\sigma^2_1\sigma^2_2+\mu^2_2\sigma^4_1/\sigma^2_1\sigma^2_2+2\mu_1\mu_2\sigma^2_1\sigma^2_2/\sigma^2_1\sigma^2_2)\\ C&=\mu^2_1/\sigma^2_1+\mu^2_2/\sigma^2_2\\ &=\mu^2_1\sigma^2_2/\sigma^2_1\sigma^2_2+\mu^2_2\sigma^2_2/\sigma^2_1\sigma^2_2\\ &=\frac{1}{\sigma^2_1\sigma^2_2}\frac{1}{\sigma^2_1+\sigma^2_2}(\mu^2_1\sigma^2_2+\mu^2_2\sigma^2_1)(\sigma^2_1+\sigma^2_2)\\ &=\frac{1}{\sigma^2_1\sigma^2_2}\frac{1}{\sigma^2_1+\sigma^2_2}(\mu^2_1\sigma^2_1\sigma^2_2+\mu^2_1\sigma^4_2+\mu^2_2\sigma^4_1+\mu^2_2\sigma^2_1\sigma^2_2)\\ \frac{B^2}{4A}-C&=-\frac{1}{\sigma^2_1\sigma^2_2}\frac{1}{\sigma^2_1+\sigma^2_2}(\mu^2_1+\mu^2_2-2\mu_1\mu_2)\sigma^2_1\sigma^2_2\\ &=-\frac{1}{\sigma^2_1+\sigma^2_2}(\mu^2_1+\mu^2_2-2\mu_1\mu_2)\\ A\delta &= -\frac{1}{\sigma^2_1+\sigma^2_2}(\mu_1+\mu_2)^2 \end{split}$
回代有:
$\begin{split} &\frac{1}{2\pi \sigma_1 \sigma_2}\rm{exp}(-\frac{1}{2}\frac{(x-\mu_1)^2}{\sigma^2_1})\rm{exp}(-\frac{1}{2}\frac{(x-\mu_2)^2}{\sigma^2_2})\\ &=\frac{1}{2\pi \sigma_1 \sigma_2}\rm{exp}(A\delta/2)\rm{exp}(-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2_2})\\ &=\frac{1}{\sqrt{2\pi}}\frac{1}{(1/\sigma^2_1+1/\sigma^2_2)^{-1/2}}\rm{exp}(-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2})\frac{1}{\sqrt{2\pi}}\frac{1}{\sqrt{\sigma^2_1+\sigma^2_2}}\rm{exp}{(A\delta/2)} \end{split}$
其中:
$\begin{split} \frac{1}{(1/\sigma^2_1+1/\sigma^2_2)^{-1/2}}\frac{1}{\sqrt{\sigma^2_1+\sigma^2_2}} &=\frac{\sqrt{\sigma^2_1\sigma^2_2}}{\sqrt{\sigma^2_1+\sigma^2_2}}\cdot \sqrt{\sigma^2_1+\sigma^2_2}=\sqrt{\sigma^2_1\sigma^2_2}=\sigma_1\sigma_2 \end{split}$