（统计学习方法|李航）第四章 朴素贝叶斯算法

目录

贝叶斯思维

 outline

条件概率：

一，朴素贝叶斯的学习与分类

1.基本方法

 那么为何称之为朴素？

2.后验概率最大化的含义

二，朴素贝叶斯法的参数估计

1.极大似然估计

（1）原理

（2）实现

2.学习与分类算法

---

贝叶斯思维

老板的deduce：

 

 

 outline

条件概率：

 

把他分到AB两盒中：

 

 

 

 其实贝叶斯定理就是逆概率思维

 全概率公式：

 取出的巧克力是黑色的

        

一，朴素贝叶斯的学习与分类

1.基本方法

 

 这就是贝叶斯分类的原理

 朴素贝叶斯算法和贝叶斯的区别：
实例每个特征之间相互独立

 

 那么为何称之为朴素？

 所以生成方法就是：先要学习联合概率分布

 

 再来回顾：

 

 前面的比如（3/7）就是条件概率

条件概率*先验概率就是联合概率分布

       

2.后验概率最大化的含义

 

 使得后验概率的最大类别，就是我们需要归属的那一类。

 

二，朴素贝叶斯法的参数估计

1.极大似然估计

（1）原理

假设去买苹果，有三种，买了一箱

 取出一个苹果正好是155g，那这项苹果最可能是哪种苹果

（2）实现

 

训练集就是第一个和第三个球是黑色的，第二个球是白色的。

得到了联合概率函数的实际上

遍历方法带进去算出来

那当β=2/3是，似然函数L（β）的值最大。

ep2：

 

 

 迭代法只能得到不断逼近的数值解

2.学习与分类算法

 

学习的对象就是训练集。

找出后验概率最大的，从而确定所属的类别Y

 特征X（1）的取值范围为：X(1)->{1,2,3}

 特征X（2）的取值范围为：X(2)->{S,M,L}

 将先验概率与不同特征的条件概率相乘

 后验概率最大化的方法，则此处y=-1的后验概率更大

类标记为-1。