【数据挖掘】数据挖掘总结 ( 拉普拉斯修正 | 贝叶斯分类器示例2 ) ★

参考博客 :

• 【数据挖掘】贝叶斯分类 ( 贝叶斯分类器 | 贝叶斯推断 | 逆向概率 | 贝叶斯公式 | 贝叶斯公式推导 | 使用贝叶斯公式求逆向概率 )
• 【数据挖掘】贝叶斯公式应用 拼写纠正示例分析 ( 先验概率 | 似然概率 | 后验概率 )
• 【数据挖掘】贝叶斯公式在垃圾邮件过滤中的应用 ( 先验概率 | 似然概率 | 后验概率 )
• 【数据挖掘】朴素贝叶斯分类器 ( 多属性概率计算 | 朴素贝叶斯分类案例分析 )
• 【数据挖掘】拉普拉斯修正 ( 判别模型 | 概率模型 | 贝叶斯分类 | 拉普拉斯修正 | 朴素贝叶斯分类应用场景 | 朴素贝叶斯优缺点 )
• 【数据挖掘】贝叶斯信念网络 ( 马尔科夫假设 | 结构 | 有向无环图 | 参数 | 条件概率表 | 案例分析 )

一、 贝叶斯分类器分类的流程

---

已知条件 :

已知样本 : 已知若干个样本

未知样本 : 给定 $1$ 个未知样本 , 其有 $4$ 个属性组成向量 $\mathrm{X}$ , 样本的分类有两种 , $\mathrm{Y}$ 和 $\mathrm{N}$ ; ( Yes / No )

分类步骤 :

计算两个概率 , 即

① 样本取值为 $\mathrm{X}$ 向量时 , 分类为 $\mathrm{Y}$ 的概率 , 公式为 $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$ , 其中 $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ 含义是 : 样本分类 $\mathrm{Y}$ 的概率 $\mathrm{P}(\mathrm{Y})$ , 乘以 样本分类为 $\mathrm{Y}$ 前提下样本取值 $\mathrm{X}$ 时的概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ , 是 $\mathrm{P}(\mathrm{X}\mathrm{Y})$ 共同发生的概率 ;

② 样本取值为 $\mathrm{X}$ 向量时 , 分类为 $\mathrm{N}$ 的概率 , 公式为 $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$ , 其中 $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ 含义是 : 样本分类为 $\mathrm{N}$ 的概率 $\mathrm{P}(\mathrm{N})$ , 乘以 样本取值 $\mathrm{N}$ 时的概率 $\mathrm{P}(\mathrm{X}|\mathrm{N})$ , 是 $\mathrm{P}(\mathrm{X}\mathrm{N})$ 共同发生的概率 ;

上述两个概率 , 哪个概率高 , 就将该样本分为哪个分类 ;

先验概率 : $\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{N})$ ;

后验概率 : $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ , $\mathrm{P}(\mathrm{X}|\mathrm{N})$ ;

公式中每个元素的含义参考 【数据挖掘】贝叶斯分类 ( 贝叶斯分类器 | 贝叶斯推断 | 逆向概率 | 贝叶斯公式 | 贝叶斯公式推导 | 使用贝叶斯公式求逆向概率 )

上述两个公式 $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$ 和 $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$ , 分母都是 $\mathrm{P}(\mathrm{X})$ , 只比较分子即可 , 其中先验概率 $\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{N})$ 很容易求得 , 重点是求两个后验概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ ;

后验概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 求法 : 针对 $\mathrm{X}$ 向量中 $4$ 个分量属性的取值 , 当样品类型是 $\mathrm{Y}$ 时 , 分量 $1$ 取值为该分量属性时的概率 , 同理计算出 $4$ 个分量属性对应的 $4$ 个概率 , 最后将 四个概率相乘 ;

后验概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 再乘以先验概率 $\mathrm{P}(\mathrm{Y})$ , 就是最终的 未知样本分类为 $\mathrm{Y}$ 类型的概率 ;

最终对比样本 , ① 未知样本分类为 $\mathrm{Y}$ 类型的概率 , ② 未知样本分类为 $\mathrm{N}$ 类型的概率 , 哪个概率大 , 就分类为哪个类型 ;

二、 拉普拉斯修正

---

在计算后验概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 时 , 需要计算出 当样品类型是 $\mathrm{Y}$ 时 , $\mathrm{X}$ 向量的 分量 $1$ 取值为该分量属性时的概率 , 同理计算出 $4$ 个分量属性对应的 $4$ 个概率 , 最后将 四个概率相乘 ;

如果上述 $4$ 个相乘的概率其中有一个是 $0$ , 那么最终结果肯定就是 $0$ , 这里需要避免这种情况 , 引入拉普拉斯修正 ;

直接上栗子 , 不扯公式 ;

如果计算时 , $9$ 个样本是购买商品的 , 但年龄都大于 $30$ , 计算过程如下 ;

$\mathrm{P}(年龄小于30|\mathrm{Y})=\frac{0}{9}$

拉普拉斯修正就是分子加 $1$ , 分母加上样本类型个数 $2$ ; ( 样本有两个类型 , $\mathrm{Y}$ 购买商品 , $\mathrm{N}$ 不购买商品 ) ;

$\mathrm{P}(年龄小于30|\mathrm{Y})=\frac{0+1}{9+2}=\frac{1}{11}$

注意是所有的分量的概率都要进行拉普拉斯修正 , 不能只修正这一个 ;

具体的详细的公式以及理论查看 【数据挖掘】拉普拉斯修正 ( 判别模型 | 概率模型 | 贝叶斯分类 | 拉普拉斯修正 | 朴素贝叶斯分类应用场景 | 朴素贝叶斯优缺点 )

三、 贝叶斯分类器示例2

---

分类需求 : 根据 年龄 , 收入水平 , 级别 , 部门 , 人数 , 预测 " 年龄 $31..35$, 收入 $41\mathrm{k}..45\mathrm{k}$ , $\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$ 部门 " 的员工级别 ;

年龄	收入	级别	部门	人数
$31..35$	$46\mathrm{k}..50\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{a}\mathrm{l}\mathrm{e}\mathrm{s}$	$30$
$26..30$	$26\mathrm{k}..30\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{a}\mathrm{l}\mathrm{e}\mathrm{s}$	$40$
$31..35$	$31\mathrm{k}..35\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{a}\mathrm{l}\mathrm{e}\mathrm{s}$	$40$
$21..25$	$46\mathrm{k}..50\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$	$20$
$31..35$	$66\mathrm{k}..70\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$	$5$
$26..30$	$46\mathrm{k}..50\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$	$3$
$41..45$	$66\mathrm{k}..45\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$	$3$
$36..40$	$46\mathrm{k}..50\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{m}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{e}\mathrm{t}\mathrm{i}\mathrm{n}\mathrm{g}$	$10$
$31..35$	$41\mathrm{k}..45\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{m}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{e}\mathrm{t}\mathrm{i}\mathrm{n}\mathrm{g}$	$4$
$46..50$	$36\mathrm{k}..40\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{r}\mathrm{e}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{y}$	$4$
$26..30$	$26\mathrm{k}..30\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{r}\mathrm{e}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{y}$	$6$

未知样本 取值 $\mathrm{X}$ 向量 为 " 年龄 $31..35$, 收入 $41\mathrm{k}..45\mathrm{k}$ , $\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$ 部门 " ;

未知样本 分类为 $\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ ( 高级 ) 类型的概率 : $\mathrm{P}(\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\mathrm{P}(\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})}{\mathrm{P}(\mathrm{X})}$

未知样本 分类为 $\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ ( 低级 ) 类型的概率 : $\mathrm{P}(\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\mathrm{P}(\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})}{\mathrm{P}(\mathrm{X})}$

上述两个概率的分母 $\mathrm{P}(\mathrm{X})$ 是常数 , 对比时可以忽略 , 只需要对比分子即可 ;

先验概率 $\mathrm{P}(\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})=\frac{52}{165}$ , $\mathrm{P}(\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})=\frac{113}{165}$ , $52$ 个人是 $\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ 级别 , $113$ 个人是 $\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ 级别 ;

后验概率

① $\begin{array}{lcl}\mathrm{P}(\mathrm{X}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})& =& \mathrm{P}(年龄31..35|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\times \mathrm{P}(收入41\mathrm{k}..45\mathrm{k}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\times \mathrm{P}(部门\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\\ & & \\ & =& \frac{8}{52}\times \frac{35}{52}\times \frac{0}{52}\end{array}$

上述后验概率的结果为 $0$ , 需要进行 拉普拉斯修正 , 上述式子中的三个概率分子都需要 $+1$ , 分母都需要 $+2$ , 分母是分类的个数 , $\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ 和 $\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ 两个分类 , 因此分母 $+2$ ;

拉普拉斯修正后的结果 :

$\begin{array}{lcl}\mathrm{P}(\mathrm{X}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})& =& \frac{8+1}{52+2}\times \frac{35+1}{52+2}\times \frac{0+1}{52+2}\\ & & \\ & =& \frac{9}{54}\times \frac{36}{54}\times \frac{1}{54}\end{array}$

② $\begin{array}{lcl}\mathrm{P}(\mathrm{X}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})& =& \mathrm{P}(年龄31..35|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\times \mathrm{P}(收入41\mathrm{k}..45\mathrm{k}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\times \mathrm{P}(部门\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\\ & & \\ & =& \frac{23}{113}\times \frac{44}{113}\times \frac{4}{113}\end{array}$

未知样本 分类为 $\mathrm{Y}$ 类型的概率 分子 : $\mathrm{P}(\mathrm{X}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\mathrm{P}(\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})=\frac{9}{54}\times \frac{36}{54}\times \frac{1}{54}\times \frac{52}{165}\approx 0.0006$

未知样本 分类为 $\mathrm{N}$ 类型的概率 分子 : $\mathrm{P}(\mathrm{X}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\mathrm{P}(\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})=\frac{23}{113}\times \frac{44}{113}\times \frac{4}{113}\times \frac{113}{165}\approx 0.0024$

该样本分类 为 $\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ , 是低级员工 ;