高斯分布相乘、卷积整理

文章包括的内容有：

• 一元高斯分布相乘的分布
• 多元高斯分布相乘的分布
• 一元高斯的卷积分布
• 应用：对多元高斯分布的参数推断
• 应用：高斯线性系统的推导

前三部分的参考文献Products and Convolutions of Gaussian Probability Density
Functions. P.A. Bromile。应用的内容来自"machine learning a probabilistic perspective"的第四章p119~p120页。

引言

高斯分布是一个很重要的连续分布形式，频繁出现应用场景和里也可以导出很多分布，如在典型的线性回归中对误差$\epsilon$的建模就是用的标准正态分布，统计学的学生$t$分布就是从正态分布中导出。随着贝叶斯统计学的广泛应用，相乘的高斯分布（高斯先验）等形式也出现在公式中，例如高斯线性系统，本文就这些形式进行说明。

一元高斯分布相乘

假设$p(x_1)=\mathcal{N}(x|{\mu }_1,{\sigma }_1),p(x_2)=\mathcal{N}(x|{\mu }_2,{\sigma }_2)$均是关于变量$x$的分布，现想计算$p(x_1)p(x_2)$的分布形式。
$$\begin{array}{rl}p(x_1)p(x_2)& =e^{-\frac{1}{2{\sigma }_1^2}(x-{\mu }_1{)}^2}{e}^{-\frac{1}{2{\sigma }_2^2}(x-{\mu }_2{)}^2}\\ & =e^{-\frac{1}{2}\frac{（{\sigma }_1^2+{\sigma }_2^2）x^2-2({\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2)x+\text{constant}}{{\sigma }_1^2{\sigma }_2^2}}\end{array}$$
得两个高斯分布相乘仍为缩放的高斯分布，通过配方得到缩放的高斯分布参数为：
$$\begin{array}{rl}\mu & =\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}\\ \sigma & =\sqrt{\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\end{array}$$
上式可写为如下形式，从而推广至$n$个一维高斯分布相乘：
μ = ( μ 1 σ 1 2 + μ 2 σ 2 2 ) σ 2 1 σ 2 = 1 σ 1 2 + 1 σ 2 2 \begin{aligned} \mu &= (\frac{\mu_1}{\sigma_1^2}+\frac{\mu_2}{\sigma_2^2})\sigma^2 \\ \frac{1}{\sigma^2} &= \frac{1}{\sigma_1^2} + \frac{1}{\sigma_2^2} \end{aligned} μσ21​​=(σ12​μ1​​+σ22​μ