线性动态系统中的概率求解

前言

在机器学习的线性动态系统（卡尔曼滤波）中，会有两个随机变量之间存在某种线性关系。下面我们来探讨那些情况下如何求解概率分布的参数。看在这篇文章之前，请确保你有较为扎实概率论的基础，否则可能阅读起来有点困难，我会尽量不跳步，讲得通俗些。
数学基础：【概率论与数理统计知识复习-哔哩哔哩】

原理推导

假设
$$\begin{array}{c}\begin{array}{rl}& \\ & P(x)\sim N(x|{\mu }_x,{\Sigma }_x)\\ & P(y|x)\sim N(y|Ax+B,Q)\end{array}\end{array}$$
什么意思呢？就是对随机变量$x$服从期望为${\mu }_x$，协方差矩阵${\Sigma }_x$的正态分布，而对于随机变量$y|x$，其服从期望为$Ax+B$，协方差矩阵为$Q$的正态分布

本篇文章就两个问题，在给定上述条件的情况下

​ ①随机变量$y$，它的期望和协方差矩阵是什么？

​ ②随机联合变量$x,y$，它的期望和协方差矩阵是什么？

​ ③随机变量$x|y$，它的期望和协方差矩阵是什么？

我们的目标就是求解这两个问题

在求解之前，我们先看看能由上述条件得出些什么隐含的东西

等价变换

其实由随机变量$x$和$y|x$之间的关系，可以等价得出随机变量$y$与$x$的关系式
$$\{\begin{array}{c}P(x)\sim N(x|\mu ,\Sigma )\\ P(y|x)\sim N(y|Ax+B,Q)\end{array}\iff \{\begin{array}{c}y=Ax+B+u\end{array}$$
其中$x$，$u$是随机变量，并且他们相互独立。而$u\sim N(0,Q)$。N是正态分布的意思。

你可能会好奇，为什么会等价于那个式子？我们可以通过这个式子反推出随机变量$y|x$的期望和协方差矩阵，如果一样，则证明等价成立

对于随机变量$y|x$，可以简单理解为是随机变量$x$是给定了某个值的，所以$x$也就不再是一个随机变量，而是一个常数。为了避免混淆，我们用随机变量$y|x^{\ast }$来表示随机变量$y|x$，即$y|x=y|x^{\ast }$

现在我们作等价性推导，因为
$$y=Ax+B+u$$
所以在随机变量后面都加上条件，自然得出
$$y|x^{\ast }=A(x|x^{\ast })+B+u$$
$x|x^{\ast }$是什么意思呢？可以理解为随机变量x给定取值$x^{\ast }$，我们不妨直接用$x^{\ast }$来代替，所以$x^{\ast }$不再是一个随机变量，而是一个给定的某个数，即
$$y|x^{\ast }=A{x}^{\ast }+B+u$$
所以期望
$$\begin{array}{c}\begin{array}{rl}\mu =E[y|x^{\ast }]=& E[A{x}^{\ast }+B+u]\\ =& E\left[A{x}^{\ast }+B\right]+E[u]\\ =& A{x}^{\ast }+B+0\\ =& A{x}^{\ast }+B\end{array}\end{array}$$
第二到第三个等号是因为常数的均值为常数本身，随机变量$u$期望前面定为0。

协方差矩阵
$$\begin{array}{c}\begin{array}{rl}\Sigma =& E\left[(y|x^{\ast }-\mu )(y|x^{\ast }-\mu {)}^T\right]\\ =& E\left[(y|x^{\ast }-A{x}^{\ast }-B)(y|x^{\ast }-A{x}^{\ast }-B{)}^T\right]\\ =& E\left[(A{x}^{\ast }+B+u-A{x}^{\ast }-B)(A{x}^{\ast }+B+u-A{x}^{\ast }-B{)}^T\right]\\ =& E\left[u{u}^T\right]\\ =& Q\end{array}\end{array}$$
第四个到第五个等号是因为随机变量u的期望是0，所以这就是协方差矩阵的公式，也就是随机变量u的协方差，前面设为Q。

所以我们就得到了随机变量$y|x^{\ast }\sim N(A{x}^{\ast }+B,Q)$

再把$x^{\ast }$换回$x$（但请务必记住在$y|x$中的x是给定的某个值，不是随机变量）$P(y|x)\sim N(y|Ax+B,Q)$

所以和反推出来的结果一摸一样。所以我们可得到
$$y=Ax+B+u\text{\hspace{1em}(1)}$$

求解P(y)

由正态分布的性质和式（1）可知，随机变量y依然服从正态分布，所以我们只需要求解出其对应的期望和协方差矩阵即可

设其期望和协方差矩阵分别是${\mu }_y，{\Sigma }_y$
$$\begin{array}{c}\begin{array}{rl}{\mu }_y=E[y]=& E[Ax+B+u]\\ =& E[Ax]+E[B]+E[u]\\ =& AE[x]+B+0\\ =& A{\mu }_x+B\end{array}\end{array}$$
请注意，与随机变量$y|x$中x是给定的常量不同，随机变量$y$对应的x也是随机变量。

接下来求解协方差矩阵（利用协方差矩阵的公式）
$$\begin{array}{c}\begin{array}{rl}{\Sigma }_y=& E\left[(y-{\mu }_y)(y-{\mu }_y{)}^T\right]\\ =& E\left[(Ax+B+u-A{\mu }_x-B)(Ax+B+u-A{\mu }_x-B{)}^T\right]\\ =& E\left[(A(x-{\mu }_x)+u)(A(x-{\mu }_x)+u{)}^T\right]\\ =& E\left[A(x-{\mu }_x)(x-{\mu }_x{)}^T{A}^T\right]+E\left[A(x-{\mu }_x)u^T\right]+E\left[u(x-{\mu }_x{)}^T{A}^T\right]+E\left[u{u}^T\right]\end{array}\end{array}$$
第一个到第二个等号就是把y的等式和${\mu }_y$等式往里面带，第三到第四个等号利用的是乘法分配律（请记住这些方法，因为下面的推导几乎都是重复这一个过程，后面就不作解释了）。我们来看其中一项$E\left[A(x-{\mu }_x)u^T\right]$，将里面按等号拆成两项
$$E\left[A(x-{\mu }_x)u^T\right]=AE\left[x{u}^T\right]-A{\mu }_{x}E\left[u^T\right]$$
对于随机变量x和随机变量u，我们前面假设过他们相互独立的，依据期望的性质，可得
$$\begin{array}{c}\begin{array}{rl}E\left[A(x-{\mu }_x)u^T\right]=& AE\left[x\right]E\left[u^T\right]-A{\mu }_{x}E\left[u^T\right]\\ =& A\ast {\mu }_x\ast 0-A\ast {\mu }_x\ast 0\\ =& 0\end{array}\end{array}$$
同样因为$E\left[u(x-\mu {)}^T{A}^T\right]$与$E\left[A(x-\mu )u^T\right]$互为转置，所以也是等于0

那么最终协方差矩阵就变成了
$$\begin{array}{c}\begin{array}{rl}{\Sigma }_y=& E\left[A(x-{\mu }_x)(x-{\mu }_x{)}^T{A}^T\right]+E\left[u{u}^T\right]\\ =& AE[(x-{\mu }_x)(x-{\mu }_x{)}^T]A^T+E\left[u{u}^T\right]\\ =& A{\Sigma }_x{A}^T+Q\end{array}\end{array}$$
所以我们得到
$$P(y)\sim N(y|A\mu +B,A\Sigma A^T+Q)$$

求解P(x,y)

对于这一部分，如何证明它们的联合概率是高斯，看课本或者结尾的参考，建议看参考，课本省略了很多步骤。所以我们只需要求出联合随机变量$x,y$的期望和协方差矩阵即可
$$x,y\sim N\left(\begin{array}{c}\left(\begin{array}{c}{\mu }_x\\ {\mu }_y\end{array}\right),\left(\begin{array}{cc}{\Sigma }_{xx}& {\Sigma }_{xy}\\ {\Sigma }_{yx}& {\Sigma }_{yy}\end{array}\right)\end{array}\right)$$
其中，${\mu }_x$表示随机变量x的期望，以此类推。而${\Sigma }_{xx}$代表随机变量x的协方差矩阵，${\Sigma }_{xy}$代表随机变量x和y的协方差矩阵，以此类推。

前面，我们已经求出了随机变量y的参数了，再加上给定的随机变量x的参数，最终得到
$$x,y\sim N\left(\begin{array}{c}\left(\begin{array}{c}{\mu }_x\\ A{\mu }_x+B\end{array}\right),\left(\begin{array}{cc}{\Sigma }_x& {\Sigma }_{xy}\\ {\Sigma }_{yx}& A{\Sigma }_x{A}^T+Q\end{array}\right)\end{array}\right)$$
依据协方差矩阵的对称性${\Sigma }_{xy}={\Sigma }_{yx}$，所以我们只需要求出其中一个就可以了
$$\begin{array}{c}\begin{array}{rl}{\Sigma }_{xy}=& E[(x-{\mu }_x)(y-{\mu }_y{)}^T]\\ =& E\left[(x-{\mu }_x)(y-A{\mu }_x-B{)}^T\right]\\ =& E\left[(x-{\mu }_x)(Ax+B+u-A{\mu }_x-B{)}^T\right]\\ =& E\left[(x-{\mu }_x)(A(x-{\mu }_x)+u{)}^T\right]\\ =& E\left[(x-{\mu }_x)(x-{\mu }_x{)}^T{A}^T\right]+E\left[(x-{\mu }_x)u^T\right]\\ =& E\left[(x-{\mu }_x)(x-{\mu }_x{)}^T\right]A^T+(x-{\mu }_x)E[u^T]\\ =& {\Sigma }_x{A}^T+0\\ =& {\Sigma }_x{A}^T\end{array}\end{array}$$
所以
$$P(x,y)\sim N\left(\begin{array}{c}\begin{array}{c}x,y\end{array}|\left(\begin{array}{c}{\mu }_x\\ A{\mu }_x+B\end{array}\right),\left(\begin{array}{cc}{\Sigma }_x& {\Sigma }_x{A}^T\\ A{\Sigma }_x& A{\Sigma }_x{A}^T+Q\end{array}\right)\end{array}\right)$$

求解P(x|y)

由正态分布的性质可知，条件概率分布依然服从正态分布，所以我们只需要求出随机变量$x|y$的期望和协方差矩阵即可

对于这个条件概率，我们利用一种相对较为简单的求法。

我们在联合概率里面计算出过随机变量$x,y$的参数。为了表达的简便，我们先暂时将其用初始符号表达，即
$$x,y\sim N\left(\begin{array}{c}\left(\begin{array}{c}{\mu }_x\\ {\mu }_y\end{array}\right),\left(\begin{array}{cc}{\Sigma }_{xx}& {\Sigma }_{xy}\\ {\Sigma }_{yx}& {\Sigma }_{yy}\end{array}\right)\end{array}\right)$$
如果联合概率是上式，那么对于条件概率$P(x|y)$，则

怎么得出来得呢？下面我们进行推导

我们先构造一个随机变量$k_{xy}$，令
$$k_{xy}=x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y$$
为什么要这样构造？可能算是一种技巧吧。总之后面我们可以证明它和随机变量y相互独立，然后就可以求出$P(x|y)$

设其期望和协方差矩阵分别是${\mu }_k,{\Sigma }_k$，则期望
$$\begin{array}{c}\begin{array}{rl}{\mu }_k=& E[k_{xy}]\\ =& E\left[x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y\right]\\ =& E[x]-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}E[y]\\ =& {\mu }_x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\mu }_y\end{array}\end{array}$$
协方差矩阵
$$\begin{array}{c}\begin{array}{rl}{\Sigma }_k=& E\left[(k_{xy}-{\mu }_k)(k_{xy}-{\mu }_k{)}^T\right]\\ =& E\left[(x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y-{\mu }_x+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\mu }_y)(x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y-{\mu }_x+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\mu }_y{)}^T\right]\\ =& E\left[({\Sigma }_{xy}{\Sigma }_{yy}^{-1}({\mu }_y-y)+(x-{\mu }_x))({\Sigma }_{xy}{\Sigma }_{yy}^{-1}({\mu }_y-y)+(x-{\mu }_x){)}^T\right]\\ =& E\left[{\Sigma }_{xy}{\Sigma }_{yy}^{-1}({\mu }_y-y)({\mu }_y-y{)}^T{\Sigma }_{yy}^{-1}{\Sigma }_{xy}\right]+E\left[{\Sigma }_{xy}{\Sigma }_{yy}^{-1}({\mu }_y-y)({\mu }_x-x{)}^T\right]+\\ & E\left[({\mu }_x-x)({\mu }_y-y{)}^T{\Sigma }_{yy}^{-1}{\Sigma }_{xy}\right]+E\left[(x-{\mu }_x)(x-{\mu }_x)\right]\\ =& {\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\Sigma }_{yy}{\Sigma }_{yy}^{-1}{\Sigma }_{xy}-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\Sigma }_{yx}-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\Sigma }_{xy}+{\Sigma }_{xx}\\ =& {\Sigma }_{xx}-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\Sigma }_{yx}\end{array}\end{array}$$
下面我们来证明随机变量$k_{xy}$和$y$的独立性
$$\begin{array}{c}\begin{array}{rl}Cov(k_{xy},x)=& E\left[(k_{xy}-{\mu }_k)(y-{\mu }_y{)}^T\right]\\ =& E\left[(x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y-{\mu }_x+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\mu }_y)(y-{\mu }_y{)}^T\right]\\ =& E\left[({\Sigma }_{xy}{\Sigma }_{yy}^{-1}({\mu }_y-y)+(y-{\mu }_x))(y-{\mu }_y{)}^T\right]\\ =& E\left[{\Sigma }_{xy}{\Sigma }_{yy}^{-1}({\mu }_y-y)(y-{\mu }_y{)}^T\right]+E\left[(y-{\mu }_x)(y-{\mu }_y{)}^T\right]\\ =& -{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\Sigma }_{yy}+{\Sigma }_{xy}\\ =& -{\Sigma }_{xy}+{\Sigma }_{xy}\\ =& 0\end{array}\end{array}$$
所以随机变量$k_{xy}$和y相互独立

所以
$$k_{xy}|y\to k_{xy}$$

由
$$k_{xy}=x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y$$
得
$$x=k_{xy}+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y$$
所以
$$\begin{array}{c}\begin{array}{rl}x|y=& k_{x,y}|y+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y|y\\ =& k_{xy}+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y\end{array}\end{array}$$
请注意了，后面的的$y$实际上已经不是随机变量了（因为$x|y$中y是给定的），避免混淆，我们用$y^{\ast }$代替
$$x|y^{\ast }=k_{xy}+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{y}^{\ast }$$
现在只需要求出它的期望和协方差矩阵即可，设为${\mu }_{x|y},{\Sigma }_{x|y}$
$$\begin{array}{c}\begin{array}{rl}{\mu }_{x|y}=E\left[x|y^{\ast }\right]=& E\left[k_{xy}+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{y}^{\ast }\right]\\ =& E\left[k_{xy}\right]+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{y}^{\ast }\\ =& {\mu }_k+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{y}^{\ast }\end{array}\end{array}$$

$$\begin{array}{c}\begin{array}{rl}{\Sigma }_{x|y}=& E\left[(x|y^{\ast }-{\mu }_{x|y})(x|y^{\ast }-{\mu }_{x|y}{)}^T\right]\\ =& E\left[(k_{xy}+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{y}^{\ast }-{\mu }_k-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{y}^{\ast })(k_{xy}+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{y}^{\ast }-{\mu }_k-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{y}^{\ast }{)}^T\right]\\ =& E\left[(k_{xy}-{\mu }_k)(k_{xy}-{\mu }_k{)}^T\right]\\ =& {\Sigma }_k\end{array}\end{array}$$

将$y^{\ast }$变回$y$，最终得到
$$P(x|y)\sim N(x|{\mu }_k+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y,{\Sigma }_k)$$
其中${\mu }_k={\mu }_x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\mu }_y$，${\Sigma }_k={\Sigma }_{xx}-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\Sigma }_{yx}$

所以，从这里你可以看出，就算是没有前面的线性随机变量的关系条件，我们仍然可以求出正太联合概率分布的条件概率，我们只需要知道它的联合概率分布的参数即可，我们可以将其当作一个模板。

我们在求解$P(x,y)$的时候已经将参数求了出来，我们只需要将里面的$P(x|y)$里面对应位置的值进行代换即可。在这里笔者就不去代换了

结论

从我们推导出来的结果来看，实际上我们可以分为两个结论：

①给定
$$\{\begin{array}{c}P(x)\sim N(x|{\mu }_x,{\Sigma }_x)\\ P(y|x)\sim N(y|Ax+B,Q)\end{array}$$
​ 可得
$$\{\begin{array}{c}y=Ax+B+u\\ P(y)\sim N(y|A{\mu }_x+B,A{\Sigma }_x{A}^T+Q)\\ P(x,y)\sim N\left(\begin{array}{c}\begin{array}{c}x,y\end{array}|\left(\begin{array}{c}{\mu }_x\\ A{\mu }_x+B\end{array}\right),\left(\begin{array}{cc}{\Sigma }_x& {\Sigma }_x{A}^T\\ A{\Sigma }_x& A{\Sigma }_x{A}^T+Q\end{array}\right)\end{array}\right)\end{array}$$
②给定
$$x,y\sim N\left(\begin{array}{c}\left(\begin{array}{c}{\mu }_x\\ {\mu }_y\end{array}\right),\left(\begin{array}{cc}{\Sigma }_{xx}& {\Sigma }_{xy}\\ {\Sigma }_{yx}& {\Sigma }_{yy}\end{array}\right)\end{array}\right)$$
​ 可得
$$P(x|y)\sim N(x|{\mu }_k+{\Sigma }_{xy}{\Sigma }_{yy}^{-1}y,{\Sigma }_k)$$
​ 其中${\mu }_k={\mu }_x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\mu }_y$，${\Sigma }_k={\Sigma }_{xx}-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\Sigma }_{yx}$

结束

以上就是本文的全部内容了，其在拥有线性关系的随机变量之间是一个较为常见的解法。如有问题，还望指出。阿里嘎多。

参考

prml中译课本(gitbooks.io)

模式识别与机器学习（PRML）第二章 第三节 高斯分布 - 知乎 (zhihu.com)