信息矩阵、hessian矩阵与协方差矩阵

本节探讨信息矩阵、hessian矩阵与协方差矩阵的关系，阐明边缘化的原理。
一个简单的示例，如下：
来自 David Mackay. “The humble Gaussian distribution”. In: (2006). 以及手写vio第四节。

箭头代表了约束方程(或可以理解为观测方程)：
$$\begin{array}{c}{z}_1:\\ z_2:\\ z_3:\end{array}\begin{array}{c}{x}_2=v_2\\ x_1=w_1{x}_2+v_1\\ x_3=w_3{x}_2+v_3\end{array}$$

其中，$v_i$ 相互独立，且各自服从零均值，协方差为${\sigma }_i^2$的高斯分布。

协方差矩阵

协方差计算公式：
$$\begin{array}{rl}Cov(X,Y)& =E[(X-E[X])\ast (Y-E[Y])\\ & =E[XY]-2E[X]E[Y]+E[X]E[Y]\\ & =E[XY]-E[X]E[Y]\end{array}$$

或：$Cov(X,Y)=E[(X-{\mu }_x)(Y-{\mu }_y)]$

计算$x_1,x_2,x_3$之间的协方差矩阵：
$$\begin{array}{rl}{\mathrm{\Sigma }}_{11}& =E(x_1{x}_1)=E((w_1{v}_2+v_1)(w_1{v}_2+v_1))\\ & =w_1^{2}E(v_2^2)+2w_{1}E(v_1{v}_2)+E(v_1^2)\\ & =w_1^2{\sigma }_2^2+{\sigma }_1^2\\ {\mathrm{\Sigma }}_{22}& ={\sigma }_2^2,{\mathrm{\Sigma }}_{33}=w_3^2{\sigma }_2^2+{\sigma }_3^2\\ {\mathrm{\Sigma }}_{12}& =E(x_1{x}_2)=E((w_1{v}_2+v_1)v_2)=w_1{\sigma }_2^2\\ {\mathrm{\Sigma }}_{13}& =E((w_1{v}_2+v_1)(w_3{v}_2+v_3))=w_1{w}_3{\sigma }_2^2\end{array}$$

最后得到协方差矩阵：
Σ = [ w 1 2 σ 2 2 + σ 1 2 w 1 σ 2 2 w 1 w 3 σ 2 2 w 1 σ 2 2 σ 2 2 w 3 σ 2 2 w 1 w 3 σ 2 2 w 3 σ 2 2 w 3 2 σ 2 2 + σ 3 2 ] \Sigma = \left[ {\begin{array}{} {w_1^2\sigma _2^2 + \sigma _1^2}&{ {w_1}\sigma _2^2}&{ {w_1}{w_3}\sigma _2^2}\\ { {w_1}\sigma _2^2}&{\sigma _2^2}&{ {w_3}\sigma _2^2}\\ { {w_1}{w_3}\sigma _2^2}&{ {w_3}\sigma _2^2}&{w_3^2\sigma _2^2 + \sigma _3^2} \end{array}} \right] Σ= ​w12​σ22​+σ12​w1​σ22​w1​w3​σ22​​w1​σ22​σ22​w3​σ22​​w1​w