随笔：卡尔曼滤波前置知识(概统知识的复习)

下一篇文章打算好好讨论一下卡尔曼滤波器，在此之前，先需要对相关的前置的知识进行一个复习，主要是概率统计的知识。

1.数学期望

在概率论和统计学中，数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。
对于离散型的随机变量，数学期望是其各个离散结果的加权平均数，即
$$E(X)=\sum _1^{\infty }{x}_k{p}_k$$
对于连续型的随机变量，数学期望是其密度函数f(x)的反常积分，即
$$E(X)={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x$$
数学期望具有以下性质：

① $C$是常数，$E(C)=C$
② $E(aX)=aE(X)$
③ $E(X+Y)=E(X)+E(Y)$
④ 若$X$和$Y$相互独立，则$E(XY)=E(X)E(Y)$

2.方差

方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。即方差是表明随机变量X在期望E(X)附近的集中程度的数字特征。
方差是$E[X-E(X){]}^2$，化简可得：
$$D(X)=E[X-E(X){]}^2=E(X^2)-(E(X){)}^2$$
且对于离散型的随机变量，其方差为：
$$D(X)=\sum _1^{\infty }[x_k-E(X){]}^2{p}_k$$
对于连续型的随机变量，其方差为：
$$D(X)={\int }_{-\infty }^{+\infty }[x_k-E(X){]}^{2}f(x)\mathrm{d}x$$
方差具有以下性质：

① $C$为常数，$D(C)=0$
② $D(aX+b)=a^{2}D(X)$
③ 若$X$和$Y$独立，则$D(X\pm Y)=D(X)+D(Y)$

3.协方差

对于两个随机变量，我们想要探讨这两个随机变量中间是否存在关联，以及其关联性程度的高低，而协方差就是一种描述两个随机变量之间的关系的数学特征。
协方差的表达式为
$$Cov(X,Y)=E[[X-E(X)][Y-E(Y)]]=E(XY)-E(X)E(Y)$$
并且，方差可以看做是两个相同的随机变量的协方差，即
$$Cov(X,X)=D(X)$$
协方差具有以下性质

① $Cov(X,Y)=Cov(Y,X)$
② $Cov(X,a)=0$
③ $Cov(aX,bY)=abCov(X,Y)$
④ $Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$
⑤ $Cov({\sum }_{i=1}^n{a}_i{X}_i,{\sum }_{j=1}^m{b}_j{X}_j)={\sum }_{i=1}^n{\sum }_{j=1}^{m}Cov(X_i,Y_i)$
⑥$D(X\pm Y)=D(X)+D(Y)\pm 2D(X)D(Y)$
⑦ 若$X$和$Y$相互独立，则 $Cov(X,Y)=0$

4.协方差阵

对于二维变量，我们用一个矩阵来表示两者之间的协方差，即
$$V=\left[\begin{array}{cc}D(X)& Cov(X,Y)\\ Cov(Y,X)& D(Y)\end{array}\right]$$
引申来说，假如有一系列的随机变量$(X_1,X_2,\cdots ,X_n)$,我们需要探究这些变量两两之间的协方差，因此n个随机变量就能得到一个n*n的矩阵，记
$${\sigma }_{ij}=Cov(X_i,X_j)$$
则有n阶矩阵
$$V=\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1n}\\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2n}\\ ⋮& ⋮& & ⋮\\ {\sigma }_{n1}& {\sigma }_{n2}& \cdots & {\sigma }_{nn}\end{array}\right]$$
该矩阵就是随机变量$(X_1,X_2,\cdots ,X_n)$的协方差矩阵。
很容易可以得到，协方差矩阵是一个对称矩阵，且对角元元素为各个随机变量的方差。

5.正态分布

若随机变量$X$的概率密度函数为：
$$\phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
则称$X$服从参数为$\mu ,{\sigma }^2$的正态分布，写作$X-N(\mu ,{\sigma }^2)$
根据正态分布的特征参数$\mu ,{\sigma }^2$，我们能对该正态分布有个直观的印象，$\mu$表示正态分布的对称轴，所以叫做位置参数。${\sigma }^2$表示正态分布的分散程度，${\sigma }^2$越大，正态分布越分散，曲线越“矮胖”，因此${\sigma }^2$又叫刻度参数。
正态分布有以下几个重要的性质：

① 随机变量$X-N(\mu ,{\sigma }^2)$，$Y=a+bX$，则$Y-N(a+b\mu ,b^2{\sigma }^2)$
② 随机变量$X-N({\mu }_1,{\sigma }_1^2),Y-N({\mu }_2,{\sigma }_2^2)$，且两个变量之间相互独立，则$Z=X+Y-({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$
③

6.二维正态分布

若二维随机变量$(X,Y)$有二维密度函数
f ( x , y ) = 1 2 π σ 1 σ 2 1 − r 2 e { − 1 2 ( 1 − r 2 ) [ ( x − μ 1 ) 2 σ 1 2 − 2 r ( x − μ 1 ) ( y − μ 2 ) σ 1 σ 2 + ( y − μ 2 ) 2 σ 2 2 ] } f(x,y)= \frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-r^2}}e^{\{- \frac{1}{2(1-r^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2r\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1 \sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\}} f(x,y)=2πσ1​σ2​1−r2 ​1​e{−2(1−r2)1​[σ12​(x−μ1​)2​−2rσ1​σ2​(x−μ1​)(y−μ2​)​+σ22​(y−μ2​)2​]}
则称$(X,Y)$服从二维正态分布，记为
$$(X,Y)-N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2;r)$$
其中${\mu }_1,{\mu }_2,{\sigma }_1>0,{\sigma }_2>0;|r|<1$为分布参数
二维正态分布有以下性质：

① 二维正态分布的边缘分布为正态分布，且若$(X,Y)-N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2;r)$，则
$$X-N({\mu }_1,{\sigma }_1^2),Y-N({\mu }_2,{\sigma }_2^2)$$
② 参数$r$等于$X$和$Y$的相关系数，即$R(X,Y)$，即
$$R(X,Y)=Cov(X^{\ast },Y^{\ast })=E(X^{\ast }{Y}^{\ast })=r$$
其中，$X^{\ast }$和$Y^{\ast }$为$X$和$Y$的标准化随机变量。

③ $r=0$时，$X$和$Y$相互独立。

④ 二维随机变量$(X,Y)$服从二维正态分布的充要条件是$X$和$Y$的任意非零线性组合$Z=aX+bY$服从一维正态分布，即$Z-N(E(Z),D(Z))$

7.均方误差

均方误差的定义：
对于总体$X$的未知参数$\theta$，其估计值为$\overline{\theta }$，则称：
$$M(\overline{\theta })=E[(\overline{\theta }-\theta {)}^2]$$
为$\overline{\theta }$关于$\theta$的均方误差。均方误差越小，参数估计越有效。
且均方误差有以下定理：$$M(\overline{\theta })=D(\overline{\theta })+[E(\overline{\theta })-\theta {]}^2$$
最小均方误差法是指，一种能够使上述$\overline{\theta }$关于$\theta$的均方误差最小的方法。