朴素贝叶斯也是一种用于分类的算法
回顾统计学习模型的几种分类:
按照模型不同来分
另一种分类方法
生成模型就是x,y的条件分布除以x的边际分布
把三者拿到一起来讲(因为判别模型和决策函数相同类型)
首先是第一种形式:不考虑x,y的随机性
第二中形式:只考虑y的随机性,给定x后,y有随机分布
第三种:x,y的随机性都要考虑,因为不但有y的条件分布,还有x的边际分布和xy的联合分布
像第二章感知机模型就是决策函数
朴素贝叶斯就是第三种形式
朴素贝叶斯
拿考试举例:
先给定每个生源地考上人数的分布,Y=c1是来自河北,Y=c2是来自北京
先验:考上的概率
相互独立条件概率可以拆开来
预测的时候分母是不会变得,因为已经拿到生源地信息:
取预测y等于多种情况时的概率,最大后验概率
朴素贝叶斯的参数估计
当训练集里实例比较少,分类类别比较多的时候,就可以能出现有其中一种类别可能没有对应训练集中的实例,此时参数估计的效果就会比较差。此时用贝叶斯估计比较好:
分子加一项
为了使得其加起来等于1:
分母也对应的加上一项