贝叶斯相关知识总结

贝叶斯相关知识总结

叶贝斯相关知识点包括：
先验概率
条件概率
后验概率
贝叶斯公式和相关准则
正态分布的贝叶斯决策

先验概率

根据以往经验分析得到的概率，通俗的讲就是根据统计规律得到的概率,符号表示为 $P(X)$。
比如：
有红蓝两个颜色的小球，红的3个、蓝的2个，红色球的先验概率是$\frac{3}{5}$,蓝球的先验概率是$\frac{2}{5}$。

条件概率

相关事件的概率也叫条件概率，还是用上面小球的例子说明，
事件A :第一次抓球取得蓝球的概率，$P(A)=\frac{2}{5}$
事件B :第二次抓球取得蓝球的概率，$P(B|A)=\frac{1}{4}$（这时候有一个蓝球和三个红球）
这里的事“|”在事件A发生的条件下，事件B发生的概率，表示为$P(B|A)$

后验概率

事情已经发生，要求这个事情发生的原因是由某个因素引起的可能性大小，是后验概率（后验概率也可以被认为是一种条件概率）。具体后验概率和叶贝斯公式的讲解一起说明。

贝叶斯公式和相关准则

贝叶斯需要遵循的相关准则：
事件之间应该是相互独立的，第一个事件发生并不会影像第二个事件的概率。
贝叶斯相关公式：
$$P(A|B)=\frac{P(A)P(B|A)}{p(B)}$$
下面用一个例子来说明公式：

有两个糖果袋子，每个糖果袋子中有若干糖果，其中袋子1中有30个红糖果和10个绿糖果，袋子2中两种糖果各有20个。那么随机选取一个袋子，并总其中随机选取一个糖果，若这个糖果是红色的。那么这个糖果来自袋子1的概率有多大?

设：

从任意一个袋子取出红色糖果为事件R;
从任意一个袋子取出绿色糖果为事件G；
随机选择袋子的过程中，若选中袋子是袋子1，事件为$B_1$
随机选择袋子的过程中，若选中袋子是袋子2，事件为$B_2$
题目中要求解的概率是$P(B_1|R)$
根据公式：
$$P(B_1|R)=\frac{P(B_1)P(R|B_1)}{P(R)}$$
$$P(B_1)=\frac{1}{2}$$
$$P(R)=\frac{30+20}{30+10+20+20}=\frac{5}{8}$$
$$P(R|B_1)=\frac{30}{30+10}=\frac{3}{4}$$
$$P(B_1|R)=\frac{P(B_1)P(R|B_1)}{P(R)}=\frac{\frac{1}{2}\ast \frac{3}{4}}{\frac{5}{8}}=0.6$$

正态分布的贝叶斯决策

单变量正态分布

一些主要公式：
单变量概率密度函数
$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{(-\frac{1}{2}(\frac{x-\mu }{\sigma }{)}^2)}$$
期望
$$\mu =Ex=\int xp(x)\mathrm{d}x$$
方差
$${\sigma }^2=E(x-\mu {)}^2=\int (x-\mu {)}^{2}p(x)\mathrm{d}x$$

多变量正态分布

多变量概率密度函数
$$p(x)=\frac{1}{(2\pi {)}^{\frac{1}{2}}||\Sigma {|}^{\frac{1}{2}}}{e}^{(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )))}，x\in R^l$$
期望
$$\mu =E[x]=E[x_1,x_2,......,x_l]$$
协方差矩阵
$$\Sigma =E[(x-\mu )(x-\mu {)}^T]$$
$$=[\begin{array}{c}{\sigma }_{11}^2\end{array}$$