机器学习算法——朴素贝叶斯学习笔记

最近我在看《统计学习》这本书,当然我是选一些必看的篇章进行学习,像之前更新的HMM并不是我学习计划中的部分,只是为了组会准备的(不是 = =)之后我会更新我学习计划中的朴素贝叶斯,决策树和逻辑回归这三个篇章,今天就来学习以下朴素贝叶斯,我们的目的是为了了解这个传统算法,知道其中的逻辑即可,对于数学公式建议配合例题来理解。

这是一道经典的例题。我们希望通过四个特征来判断这个人是否值得嫁(题目背景确实有意思,贴近生活),以下就是数据集。

现在给我们的问题是,如果一对男女朋友,男生想女生求婚,男生的四个特点分别是不帅,性格不好,身高矮,不上进,请你判断一下女生是嫁还是不嫁?

这是一个典型的分类问题,这其实就是一个条件概率的问题,我们需要计算的是在不帅、性格不好、身高矮、不上进的条件下嫁的概率和不嫁的概率谁大即可,用数学公式表示为比较 p(嫁|(不帅、性格不好、身高矮、不上进))与 p(不嫁|(不帅、性格不好、身高矮、不上进))的概率,谁的概率大,分类结果就是哪一类。

上图就是题解。当然大家可以看到我首先写的公式,这也是朴素贝叶斯的核心:

这个公式就是一个经典的条件概率计算公式,分子就是联合概率公式。在朴素贝叶斯分类中,我们需要计算的就是在给定特征的情况下,计算这些特征的分类,用条件概率的公式便可以写作上式。

其中 Y 就是分的类,X 就是特征。所以用直白的话表示为图里的公式。以这个核心为基准,我们就可以计算上面的例题了。现在将四个特征视为特征A,B,C,D,计算条件概率即可。其中计算方法我已经详细写在上图了。要注意的是分母也就是特征联合概率 P(A,B,C,D),由于朴素贝叶斯将设特征间相互独立,所以联合概率即为概率间的乘积。最后我没有写出P2的具体流程,但是计算方法如图即可,最后计算后 P2 大于 P1 ,所以分类为不嫁。

这是一道典型的利用朴素贝叶斯进行二分类的问题,从这个题我们便可以给出朴素贝叶斯的计算的流程,如下图。

搭配例题来理解,会发现朴素贝叶斯就是在计算条件概率。

其实理解上述文字,基本就了解了朴素贝叶斯方法,当然我也放上《统计学习》中的朴素贝叶斯的参数估计章节,在朴素贝叶斯算法中,我们可以利用极大似然估计法估计先验概率 P(Y = Ck)可以看出来,我们在例题中也是采用了极大似然估计来解决问题的。

朴素贝叶斯算法的具体流程如下图:

最后我们以书中的例题作为本篇的末尾。

依照上文的方法便可以得到上图的计算流程。最终我们可以确定类别为 -1 的类别。

OK,朴素贝叶斯的学习篇章到此就结束了,朴素贝叶斯分类不是一个特别复杂的算法。即使在今天有着更加复杂,效果更好的分类算法的环境下,它依然是一种值得我们学习的算法。好,任然是那句话,有错望指正。接下来我还会持续更新一些机器学习算法的学习笔记,如果有感兴趣的朋友,可以点赞留言,我们一起讨论。

参考:

统计学习方法(第2版) (豆瓣)

带你理解朴素贝叶斯分类算法 - 知乎

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值