## 1. 全概率公式

$\begin{array}{c}{B}_{i}{B}_{j}=\varnothing \phantom{\rule{.5em}{0ex}}\left(i\ne j\right)\\ {B}_{1}+{B}_{2}+\cdots =\mathrm{\Omega }\end{array}$

$A=A\mathrm{\Omega }=A{B}_{1}+A{B}_{2}+A{B}_{3}+\cdots$

$\begin{array}{}\text{(136)}& P\left(A\right)& =P\left(A\mathrm{\Omega }\right)\text{(137)}& & =P\left(A{B}_{1}+A{B}_{2}+A{B}_{3}+\cdots \right)\text{(138)}& & =P\left(A{B}_{1}\right)+P\left(A{B}_{2}\right)+P\left(A{B}_{3}\right)+\cdots \end{array}$

$P\left(A\right)=P\left({B}_{1}\right)P\left(A|{B}_{1}\right)+P\left({B}_{2}\right)P\left(A|{B}_{2}\right)+P\left({B}_{3}\right)P\left(A|{B}_{3}\right)+\cdots$

$\begin{array}{c}P\left(A\right)=0.8,\\ P\left(B\right)=0.1,\\ P\left(C\right)=0.5\end{array}$

$\begin{array}{c}P\left(S|A\right)=0.1,\\ P\left(S|B\right)=1.0,\\ P\left(S|C\right)=0.5\end{array}$

$P\left(S\right)=P\left(A\right)P\left(S|A\right)+P\left(B\right)P\left(S|B\right)+P\left(C\right)P\left(S|C\right)=0.43$

## 2. 贝叶斯公式

$P\left({B}_{i}|A\right)=\frac{P\left(A{B}_{i}\right)}{P\left(A\right)}=\frac{P\left({B}_{i}\right)P\left(A|{B}_{i}\right)}{\sum _{j}P\left({B}_{j}\right)P\left(A|{B}_{j}\right)}$

$\begin{array}{c}P\left(阳性|带菌\right)=0.99,\\ P\left(阴性|带菌\right)=0.01,\\ P\left(阳性|不带菌\right)=0.05,\\ P\left(阴性|不带菌\right)=0.95\end{array}$

$\begin{array}{}\text{(121)}& P\left(带菌|阳性\right)& =\frac{P\left(带菌\right)P\left(阳性|带菌\right)}{P\left(带菌\right)P\left(阳性|带菌\right)+P\left(不带菌\right)P\left(阳性|不带菌\right)}\text{(122)}& & =\frac{0.03×0.99}{0.03×0.99+0.97×0.05}\text{(123)}& & =0.38\end{array}$

### 贝叶斯公式与机器学习

6 180 12
5.92 190 11
5.58 170 12
5.92 165 10
5 100 6
5.5 150 8
5.42 130 7
5.75 150 9

#!/usr/bin/python3

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt

fig = plt.figure()

# 身高、体重、脚尺寸数据
x = [6, 5.92, 5.58, 5.92, 5, 5.5, 5.42, 5.75]
y = [180, 190, 170, 165, 100, 150, 130, 150]
z = [12, 11, 12, 10, 6, 8, 7, 9]

# 男性用红色园圈表示
ax.scatter(x[:4], y[:4], z[:4], c='r', marker='o', s=100)
# 女性用蓝色三角表示
ax.scatter(x[4:], y[4:], z[4:], c='b', marker='^', s=100)

ax.set_xlabel('Height (feet)')
ax.set_ylabel('Weight (lbs)')
ax.set_zlabel('Foot size (inches)')

# 显示散点图
plt.show()

$\stackrel{^}{c}=\underset{c}{\mathrm{arg}max}\phantom{\rule{mediummathspace}{0ex}}p\left(C|{F}_{1},{F}_{2},{F}_{3}\right)$

$p\left(C|{F}_{1},{F}_{2},{F}_{3}\right)=\frac{p\left({F}_{1},{F}_{2},{F}_{3}|C\right)P\left(C\right)}{p\left({F}_{1},{F}_{2},{F}_{3}\right)}$

$p\left({F}_{1},{F}_{2},{F}_{3}|C\right)=p\left({F}_{1}|C\right)p\left({F}_{2}|C\right)p\left({F}_{3}|C\right)$

$\stackrel{^}{c}=\underset{c}{\mathrm{arg}max}\phantom{\rule{mediummathspace}{0ex}}p\left({F}_{1}|C\right)p\left({F}_{2}|C\right)p\left({F}_{3}|C\right)P\left(C\right)$

$p\left({F}_{1}=6|男\right)=\frac{1}{\sqrt{2\pi {\sigma }^{2}}}\mathrm{exp}\left(\frac{-\left(6-\mu {\right)}^{2}}{2{\sigma }^{2}}\right)\approx 1.5789$

$\begin{array}{c}p\left({F}_{1}=6|男\right)p\left({F}_{2}=130|男\right)p\left({F}_{3}=8|男\right)P\left(男\right)=6.1984×{10}^{-9}\\ p\left({F}_{1}=6|女\right)p\left({F}_{2}=130|女\right)p\left({F}_{3}=8|女\right)P\left(女\right)=5.3778×{10}^{-4}\end{array}$

1. 如果没有想明白这一步，可以利用Venn图来帮助理解。
2. 若干个两两互斥的事件之和的概率，等于各事件的概率之和，即
$P\left({A}_{1}+{A}_{2}+\cdots \right)=P\left({A}_{1}\right)+P\left({A}_{2}\right)+\cdots$
3. 随机事件的意思就是，在试验之前你并不知道该事件是否会在试验中发生，发生与否取决于机遇。
4. 感谢网友在评论中指出的批评，这个地方我是写漏了条件。
5. 假设不同特征彼此独立，即，当有
$P\left(y|{x}_{1},\cdots ,{x}_{n}\right)=\frac{P\left(y\right)P\left({x}_{1},\cdots ,{x}_{n}|y\right)}{P\left({x}_{1},\cdots ,{x}_{n}\right)}$

我们假设
$P\left({x}_{i}|y,{x}_{1},\cdots ,{x}_{i-1},{x}_{i+1},\cdots ,{x}_{n}\right)=P\left({x}_{i}|y\right)$

所以才称作“朴素”贝叶斯（Naive Bayes）。
6. 概率密度可以理解为“瞬时”的概率。对于概率密度函数，必须要满足两条性质：
$\begin{array}{l}\left(1\right)\phantom{\rule{1em}{0ex}}f\left(x\right)\ge 0;\\ \left(2\right)\phantom{\rule{1em}{0ex}}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f\left(x\right)dx=1\end{array}$

所以只要$f\left(x\right)$$f(x)$整体的积分为1就可以了，并不要求局部的每个值都比1小。就像$\delta$$\delta$函数（维基百科-delta函数），虽然在0上的函数值可以大于1，但整体的积分却永远是1。

#### 机器学习之概率与统计推断

2017年07月22日 11:29

#### 全概率公式和贝叶斯公式

2016-09-10 19:18:01

#### 浅谈全概率公式和贝叶斯公式

2017-07-15 16:25:56

#### 全概公式和贝叶斯公式的理解

2016-10-04 01:37:10

#### 全概率公式、贝叶斯公式推导过程

2016-11-03 20:17:27

#### 全概率公式及其含义

2018-01-20 12:38:11

#### 通俗易懂讲解贝叶斯

2016-03-20 21:34:14

#### 大数据背后的神秘公式：贝叶斯公式

2016-07-29 08:56:08

#### 平凡而又神奇的贝叶斯方法

2016-11-21 15:10:32

#### 数学之美番外篇：平凡而又神奇的贝叶斯方法

2015-09-28 09:31:09