9、朴素贝叶斯算法

1 贝叶斯公式

1.1 概率

概率可以理解为某一件事情发生的可能性，记为 $P(A)$.我们可以表示为：

• 其中$\Omega$为必然事件
• 通过这个情况，我们其实可以将$P(A)$修改为$P(A|\Omega )=\frac{pA}{p\Omega }$
• 代表$\Omega$条件下$A$发生的概率

联合概率：如果想要求出$AB$两个事情同时发生的概率，就需要计算他们的交集，概率记为$P(AB)$

1.2 条件概率

设$A，B$为任意两个事件，若$P(A)>0$，我们称在已知事件$A$发生的条件下，事件$B$发生的概率为条件概率，记为$P(B|A)$，并定义
$$P(B|A)=\frac{P(AB)}{P(A)}$$

1.3 全概率公式

如果$\bigcup _{i=1}^n{A}_i=\Omega ,A_i{A}_j=\phi (\forall i\ne j)$，$P(A_i)>0$ ，则对任一事件$B$，有
$$P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$

1.4 贝叶斯公式（逆概率公式）

概率是反映随机事件出现的可能性大小的量度，而条件概率则是给定某事件A的条件下，另一事件B发生的概率。 全概率公式则是利用条件概率，将复杂事件A分割为若干简单事件概率的求和问题。贝叶斯公式则是利用条件概率和全概率公式计算后验概率。

如果$\bigcup _{i=1}^n{A}_i=\Omega ,A_i{A}_j=\phi (\forall i\ne j)$，$P(A_i)>0$ ，则对任一事件$B$，只要$P(B)>0$，有
$$P\left(A_j|B\right)=\frac{P\left(A_{j}B\right)}{P\left(B\right)}=\frac{P\left(A_j\right)P\left(B|A_j\right)}{\sum _{i=1}^{n}P\left(A_i\right)P\left(B|A_i\right)}(i,j=1,2,...,n)$$

2 朴素贝叶斯算法

朴素贝叶斯算法基于不同的概率估计方法具有不同的形式。概率估计方法有以下两种：

• 极大似然估计
• 贝叶斯估计

2.1 定义和推导

我们可以通过贝叶斯公式，可以通过某件事情发生条件，来预测某些条件下，发生这件事情的概率。

• 输入：训练数据$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})$，$x_i^{(j)}$是第$i$个样本的第$j$个特征， x i ( j ) ∈ { a j 1 , a j 2 , . . , a j S j } x_i^{(j)} \in \{ a_{j1},a_{j2},..,a_{jS_j} \} xi(j)​∈{ aj1​,aj2​,..,ajSj​​}，$a_{jl}$是第$j$个特征可能取的第$l$个值，$j=1,2,...,n$，$l=1,2,..,S_j$， y i ∈ { c 1 , c 2 , . . . , c K } y_i\in \{c_1,c_2,...,c_K\} yi​∈{ c1​,c2​,...,cK​}；实例$x$。
• 输出：实例$x$的分类

$$P\left(Y=c_k|X=x\right)=\frac{P\left(X=x,Y=c_k\right)}{P\left(X=x\right)}=\frac{P\left(Y=c_k\right)P\left(X=x|Y=c_k\right)}{\sum _{k=1}^{K}P\left(Y=c_k\right)P\left(X=x|Y=c_k\right)}(k=1,2,...,K)$$

后验概率最大的类别记为预测类别，即：$\underset{c_k}{\arg max}P(Y=c_k|X=x)$

如果将贝叶斯公式的思想使用到机器学习中，效能是不是很大，可以帮助我们去预测类别呢？不可行。因为在显示过程中特征值不只有一个，很难去计算概率，计算复杂度很高

• 朴素贝叶斯法是基于贝叶斯定理与特征条件$(x^{(1)},x^{(2)},...,x^{(n)})$独立假设的分类方法 。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。
• 贝叶斯定理是关于随机事件