概率基础知识(EKF原理需要)

目录

0.前言

1.概率论基本知识

联合概率(联合分布)

边缘概率(边缘分布)

条件概率与条件概率公式

全概率与全概率公式

随机变量

概率分布函数

概率密度函数

高斯分布

随机变量函数的分布

二维随机变量

二元随机变量函数的分布

随机变量与随机变量函数的数学期望

随机变量的方差

协方差与相关性

矩

多维随机变量的期望与协方差

多维高斯分布

2.似然(Likelihood)

似然函数

最大似然 估计

3.贝叶斯框架

概述

新观察到的样本信息将修正对之前事物的认知

先验概率

后验概率

贝叶斯公式

一个例子

---

 

0.前言

在学习MSCKF(Multi State Constraint Kalman Filter),多状态约束卡尔曼滤波)的时候发现很多东西都理解不了，于是追根溯源，找到EKF(Extend Kalman Filter,扩展卡尔曼滤波)、KF(Kalman Filter,卡尔曼滤波)、HMM(Hidden Markov Model,隐马尔可夫模型)、GMM(Gaussian Mix Model,高斯混合模型)。当按顺序看完这些背景知识后，再理解卡尔曼滤波就会相对简单了。本篇博客主要记录在后续能用到的概率论基本知识，包含概率论基础、贝叶斯框架和最大似然估计。

1.概率论基本知识

本部分的一些基本内容来自慕课的概率论与数理统计课程，网址见参考资料1。

概率(Probability)

概率是指某个事件发生的可能性，随机事件A发生的可能性记作P(A)或Prob(A)。例如事件A是抛一枚硬币为正面的情况，那么理论上P(A)=1/2。

概率计算的简单总结如下：

联合概率(联合分布)

表示两个事件共同发生的概率。A与B的联合概率表示为P(AB)、P(A,B)或P(A∩B)。

边缘概率(边缘分布)

边缘概率概念应用在多维随机变量中且相对于联合概率而言。边缘分布(Marginal Distribution)指在多维随机变量中只包含其中部分变量的概率分布(类似于函数中的偏导数概念)。

边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失(对离散随机变量用求和得全概率，对连续随机变量用积分得全概率)。

条件概率与条件概率公式

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A∣B)，可以理解为是A在B中所占的比例。P(X∣B)可以理解为将样本空间缩小到了B，在B中求各事件的概率。基本的条件概率公式如下：

表示在事件B发生的条件下事件A发生的概率(The probability of A conditioning on B)。当然，上面的式子还可以写成乘法的形式：

以上说的是在单一事件发生的条件下的条件概率，对于多个条件，写法也一样：

这就表示事件A在B1,B2,...Bn都发生的情况下发生的概率。

全概率与全概率公式

全概率简单而言就是有多种达到某个目的方式，达到目的的总概率。或者有多种造成某种结果的原因，造成这种结果的总概率。设B1,B2,...,Bn为样本空间S的一个划分(不漏、不重)，且P(Bi)>0，如下图所示。则有全概率公式：

对于累加的每一项，可以用条件概率的乘法公式写成P(ABj)。这样全概率公式就可以写成：

 

随机变量

随机变量表示的是样本空间与实数空间之间的多对一映射。根据随机变量取值范围的不同，包含离散型随机变量和连续型随机变量两大类。

随机变量虽然叫“变量”但其本质上是一个“函数”，这点需要注意。

概率分布函数

Probability Distribution Function，PDF。它的几何意义就表示某个事件落到从负无穷到某个点x这个区间的可能性大小，是一个概率。

概率分布函数可以给出随机变量落入某个区间的概率。

分布函数有如下性质：

• 有界性，0≤F(x)≤1
• F(x)单调不减
• 极限为常数，F(−∞)=0,F(+∞)=1
• F(x)是右连续函数，即F(x+0)=F(x)

概率密度函数

Probability Density Function,PDF。概率密度函数是对于连续型随机变量而言的。连续型随机变量一定有对应的概率密度函数，反之亦然。

概率密度函数有以下四条性质：

概率密度函数值的意义：

高斯分布

  又称正态分布。一维随机变量的高斯分布概率密度函数(PDF)为：