机器学习 朴素贝叶斯算法

内容参考于B站简博士的创作。

 

一、极大似然估计：

已知x，判断y的概率：利用后验概率最大化
 

 上面的后验概率最大化由先验概率和条件概率组成：
先验概率：

条件概率：

二、朴素贝叶斯：算法（极大似然估计）

输入：训练集：

 示例

输出： 示例x所属类别y

 先验概率：每个类别拥有的实例点比上训练数据集中所有实例点的个数。

条件概率：当已知实例点属于某个类的时候，看一下该样本的几个特征中，是某个特征的时候概率是多少。

后验概率：x属于每个类别的概率。取后验概率最大化，从而找出x属于哪个类别。

例题： 

步骤：

1.计算先验概率：这里就是计算Y=-1和Y=1的概率。

这里Y=1的先验概率为9/15, Y=-1的先验概率为6/15。

2.计算条件概率：

3.计算后验概率：

我们这里的示例点的第一个特征为2，第二个特征为S。

计算Y=1的后验概率：P(Y=1) · P(X(1)=2 | Y=1）· P(X(2)=S | Y=1）= 9/15 * 3/9 * 1/9 = 1/45

计算Y=-1的后验概率：P(Y=-1) · P(X(1)=2 | Y=-1）· P(X(2)=S | Y=-1）= 6/15 * 2/6 * 3/6 = 1/15

采用后验概率最大化，从而判断示例点x属于-1这一类。

由上面也可以看出，朴素贝叶斯算法是生成模型，分别算了样本属于两种分类的概率，然后取概率大的那一个。

三、朴素贝叶斯：算法（贝叶斯估计）

估计方法：

先验概率的贝叶斯估计：

条件概率的贝叶斯估计：

 

公式中的K是分类数，Sj就是第j个特征有多少种取值。

例题：

步骤：

1.计算先验概率：这里就是计算Y=-1和Y=1的概率。

这里Y=1的先验概率为, Y=-1的先验概率为

2.计算条件概率：

3.计算后验概率：

我们这里的示例点的第一个特征为2，第二个特征为S。

计算Y=1的后验概率：P(Y=1) · P(X(1)=2 | Y=1）· P(X(2)=S | Y=1）= 10/17 * 4/12 * 2/12  = 5/153

计算Y=-1的后验概率：P(Y=-1) · P(X(1)=2 | Y=-1）· P(X(2)=S | Y=-1）= 7/17 * 3/9 *4/9 = 28/459

采用后验概率最大化，从而判断实例点x属于-1这一类。