目录
0.前言
在学习MSCKF(Multi State Constraint Kalman Filter),多状态约束卡尔曼滤波)的时候发现很多东西都理解不了,于是追根溯源,找到EKF(Extend Kalman Filter,扩展卡尔曼滤波)、KF(Kalman Filter,卡尔曼滤波)、HMM(Hidden Markov Model,隐马尔可夫模型)、GMM(Gaussian Mix Model,高斯混合模型)。当按顺序看完这些背景知识后,再理解卡尔曼滤波就会相对简单了。本篇博客主要记录在后续能用到的概率论基本知识,包含概率论基础、贝叶斯框架和最大似然估计。
1.概率论基本知识
本部分的一些基本内容来自慕课的概率论与数理统计课程,网址见参考资料1。
概率(Probability)
概率是指某个事件发生的可能性,随机事件A发生的可能性记作P(A)或Prob(A)。例如事件A是抛一枚硬币为正面的情况,那么理论上P(A)=1/2。
概率计算的简单总结如下:
联合概率(联合分布)
表示两个事件共同发生的概率。A与B的联合概率表示为P(AB)、P(A,B)或P(A∩B)。
边缘概率(边缘分布)
边缘概率概念应用在多维随机变量中且相对于联合概率而言。边缘分布(Marginal Distribution)指在多维随机变量中只包含其中部分变量的概率分布(类似于函数中的偏导数概念)。
边缘概率是这样得到的:在联合概率中,把最终结果中不需要的那些事件合并成其事件的全概率而消失(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率)。
条件概率与条件概率公式
条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A∣B),可以理解为是A在B中所占的比例。P(X∣B)可以理解为将样本空间缩小到了B,在B中求各事件的概率。基本的条件概率公式如下:
表示在事件B发生的条件下事件A发生的概率(The probability of A conditioning on B)。当然,上面的式子还可以写成乘法的形式:
以上说的是在单一事件发生的条件下的条件概率,对于多个条件,写法也一样:
这就表示事件A在B1,B2,...Bn都发生的情况下发生的概率。
全概率与全概率公式
全概率简单而言就是有多种达到某个目的方式,达到目的的总概率。或者有多种造成某种结果的原因,造成这种结果的总概率。设B1,B2,...,Bn为样本空间S的一个划分(不漏、不重),且P(Bi)>0,如下图所示。则有全概率公式:
对于累加的每一项,可以用条件概率的乘法公式写成P(ABj)。这样全概率公式就可以写成:
随机变量
随机变量表示的是样本空间与实数空间之间的多对一映射。根据随机变量取值范围的不同,包含离散型随机变量和连续型随机变量两大类。
随机变量虽然叫“变量”但其本质上是一个“函数”,这点需要注意。
概率分布函数
Probability Distribution Function,PDF。它的几何意义就表示某个事件落到从负无穷到某个点x这个区间的可能性大小,是一个概率。
概率分布函数可以给出随机变量落入某个区间的概率。
分布函数有如下性质:
- 有界性,0≤F(x)≤1
- F(x)单调不减
- 极限为常数,F(−∞)=0,F(+∞)=1
- F(x)是右连续函数,即F(x+0)=F(x)
概率密度函数
Probability Density Function,PDF。概率密度函数是对于连续型随机变量而言的。连续型随机变量一定有对应的概率密度函数,反之亦然。
概率密度函数有以下四条性质:
概率密度函数值的意义:
高斯分布
又称正态分布。一维随机变量的高斯分布概率密度函数(PDF)为: