贝叶斯公式与最小二乘

【定义】
随机变量：$\mathrm{X},r$（均为矢量）
概率密度函数：$p(\mathrm{X})$表示随机变量$\mathrm{X}$的PDF，它表征了$\mathrm{X}$在所有状态上的可能性（likelihood）；
条件概率密度函数：$p(r|\mathrm{X})$表示给定$\mathrm{X}$下随机变量$r$的PDF。

---

【实例化】
随机变量$\mathrm{X}$表示系统的状态（含系统噪声），随机变量$r$表示量测（含量测噪声）。
已知在系统某个给定状态$\mathrm{X}$下获得了$n$次观测$r=[r_1,r_2,\cdots ,r_n{]}^T$，目标是使用观测推测出系统状态的最优估计。（即融合先验和观测信息，并求解最有估计）

几个明确：
1.假设给定状态的先验概率$p(\mathrm{X})$；
2.假设$n$次观测之间相互独立，即$p(r|\mathrm{X})={\Pi }_{i=1}^{n}p(r_i|\mathrm{X})$；
3.目标求解系统状态的最优估计

根据Bayes公式，得后验概率密度函数：
$$p(\mathrm{X}|r)=\frac{p(r|\mathrm{X})p(\mathrm{X})}{p(r)}$$

取系统状态的最优估计为后验概率密度函数的最大值！即
$$\begin{array}{rl}{\mathrm{X}}_{MAP}& =arg\underset{\mathrm{X}}{\max }p(\mathrm{X}|r)\\ & =arg\underset{\mathrm{X}}{\max }p(r|\mathrm{X})p(\mathrm{X})\\ & =arg\underset{\mathrm{X}}{\min }[-{\Sigma }_{i=1}^n\log p(r_i|\mathrm{X})-\log p(\mathrm{X})]\end{array}\text{\hspace{1em}(1)}$$

此时，再做一个假设：所涉及PDF均为高斯PDF，即：
$$p(r_i|\mathrm{X})=\mathcal{N}({\mu }_{r_i},{\Sigma }_{r_i})=\frac{1}{\sqrt{(2\pi {)}^{\dim r_i}\det ({\Sigma }_{r_i})}}exp[-\frac{1}{2}(r_i-{\mu }_{r_i}{)}^T{\Sigma }_{r_i}^{-1}(r_i-{\mu }_{r_i})]$$

$$p(\mathrm{X})=\mathcal{N}({\mu }_{\mathrm{X}},{\Sigma }_{\mathrm{X}})=\frac{1}{\sqrt{(2\pi {)}^{\dim \mathrm{X}}\det ({\Sigma }_{\mathrm{X}})}}exp[-\frac{1}{2}(\mathrm{X}-{\mu }_{\mathrm{X}}{)}^T{\Sigma }_{\mathrm{X}}^{-1}(\mathrm{X}-{\mu }_{\mathrm{X}})]$$

代入公式（1），可得：
$$\begin{array}{rl}{\mathrm{X}}_{MAP}& =arg\underset{\mathrm{X}}{\min }[{\Sigma }_{i=1}^n\frac{1}{2}(r_i-{\mu }_{r_i}{)}^T{\Sigma }_{r_i}^{-1}(r_i-{\mu }_{r_i})+\frac{1}{2}(\mathrm{X}-{\mu }_{\mathrm{X}}{)}^T{\Sigma }_{\mathrm{X}}^{-1}(\mathrm{X}-{\mu }_{\mathrm{X}})]\\ & \triangleq arg\underset{\mathrm{X}}{\min }[{\Sigma }_{i=1}^n\Vert r_i-{\mu }_{r_i}{\Vert }_{{\Sigma }_{r_i}}^2+\Vert \mathrm{X}-{\mu }_{\mathrm{X}}{\Vert }_{{\Sigma }_{\mathrm{X}}}^2]\end{array}$$

下面就可以使用最小二乘问题的求解方法进行最优估计的求取了。