估计中的概率公式总结

0.引言

近期遇到的概率公式，整理一下。

1.基本概念

• 条件概率 $P(A|B)$ : $B$ 发生的情况下，$A$ 发生的概率。
• 联合概率 $P(A,B)=P(A|B)P(B)$ : $A$ 、 $B$ 同时发生的概率 = $B$发生 * $B$ 发生时 $A$ 发生。联合 = 条件 * 边缘
• 边缘概率 $P(B)$ : 边缘概率与联合概率对应，仅与单个随机变量有关的概率。
• 全概率$P(A)={\sum }_{i=1}^{n}P\left(A\mid B_i\right)P\left(B_i\right)$ : 若事件$B_1，B_2，\dots ,B_i$ 构成一个完备事件组且都有正概率，则对事件 $A$，有前述全概率公式成立，如图：

哎哟，图中的竖线画漏了，凑合看吧，懒得改了。

2.贝叶斯公式

由联合概率可得：$$P(A,B)=P(A\mid B)\cdot P(B)=P(B\mid A)\cdot P(A)$$由此得到贝叶斯公式的常规形式：$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}$$

全概率公式和贝叶斯公式的结合：

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{{\sum }_{i=1}^{n}P\left(B\mid A_i\right)P\left(A_i\right)}$$

在状态估计时：

$$p(\mathbf{x}\mid \mathbf{y})=\frac{p(\mathbf{y}\mid \mathbf{x})p(\mathbf{x})}{p(\mathbf{y})}$$

赋予该式物理意义：

• $x$ ： 状态，可由状态转移方程推出，也称为先验
• $y$ ：传感器读数
• $p(y|x)$ : 传感器模型，可由观测方程给出，也称为似然
• $p(x|y)$ : 状态估计， 也称后验

因此贝叶斯估计： 后验估计 $\propto$ 似然 * 先验 。参考链接。

3.独立

• 若 $x,y$ 独立：

$$\begin{array}{rl}& p(x,y)=p(x)p(y)\\ & p(x\mid y)=p(x)\\ & p(y\mid x)=p(y)\end{array}$$

• $x$ 与 $y$ 条件独立 (即有条件的独立)：
  $$\begin{array}{rl}& \mathrm{p}(x,y\mid z)=p(x\mid z)p(y\mid z)\\ & p(x\mid y,z)=p(x\mid z)\\ & p(y\mid x,z)=p(y\mid z)\end{array}$$

4.条件联合分布

当有三个或多个随机变量时，可以根据需要灵活分解条件联合分布：
$$P(A,B\mid C)=P(A\mid B,C)P(B\mid C)$$
这个等式推导如下。当有三个随机变量时，以下等式仍然是成立的：

$$P(A\mid B,C)=\frac{P(A,B,C)}{P(B,C)}$$$$P(A,B\mid C)=\frac{P(A,B,C)}{P(C)}$$
稍微变换一下这俩等式，可以得到：

$$P(A\mid B,C)P(B,C)=P(A,B\mid C)P(C)$$
而其中$$P(B,C)=P(B\mid C)P(C)$$将这个等式代入上面式子中，可以得到条件联合分布：

$$P(A,B\mid C)=P(A\mid B,C)P(B\mid C)$$

5.条件贝叶斯公式

类比，贝叶斯公式可由联合概率推导出，条件贝叶斯公式也可从条件联合概率公式推导出。由条件联合概率： $P(A, B \mid C)=P(A \mid B, C) P(B \mid C) = P(B \mid A, C) P(A \mid C) $，有

$$P(A\mid B,C)=\frac{P(B\mid A,C)P(A\mid C)}{P(B\mid C)}=\eta P(B\mid A,C)P(A\mid C)$$
即是，条件贝叶斯公式。

6.马尔科夫

• 可视化
• wiki

马尔可夫链是满足马尔可夫性质的随机变量序列$X_1,X_2,X_3,...$，即给出当前状态，将来状态和过去状态是相互独立的。

$$P\left(X_{n+1}=x\mid X_1=x_1,X_2=x_2,\dots ,X_n=x_n\right)=P\left(X_{n+1}=x\mid X_n=x_n\right)$$