机器学习实战第四节朴素贝叶斯分类笔记

最新推荐文章于 2024-07-16 15:12:22 发布

Chenb_RT

最新推荐文章于 2024-07-16 15:12:22 发布

阅读量216

点赞数 1

分类专栏：读书笔记文章标签：机器学习朴素贝叶斯

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/sinat_39048987/article/details/90201187

版权

读书笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

学到第四节时，对于程序清单4-3里的分类方法不是太理解，尤其是：

p0 = sum(vec2Classify * p0Vec) + log(pClass0)

p1 = sum(vec2Classify * p1Vec) + log(pClass1)

这部分，好像和贝叶斯公式 $P(C_{i}|w) = \frac{P(w|C_{i})P(C_{i})}{P(w)}$ 求的不是一个东西。

后来弄明白了，其实是有省略计算的部分，并且多处使用了 ln(a*b) = ln(a) + ln(b) 将乘法转换为加法防止下溢出。

推导过程如下：

对于一输入文档，设要比较的参数 $P(C_{i}|w) = \frac{P(w|C_{i})P(C_{i})}{P(w)}$
其中对于同一输入文档，p(w)是不变的，所以要比较的参数可以简化为比较 $P(C_{i}|w) = P(w|C_{i})P(C_{i})$
由于，且和单调性相同，又可以由比较g变为比较
此时 $ln(P(w|C_{i})) + ln(P(C_{i}))$
其中， $P(w|C_{i})$ 的计算是输入测试文档中每个词汇的取值（存在与否）乘以训练集中的先验概率（Ci分类下每个词汇出现的概率）。其中的乘法计算全都可以换为对数下的加法计算。代码中p0vec和p1vec是已经经过对数处理的，而vec2Classify是词汇出现与否的标记（注意此处使用的是词集模型）。

经过层层变换后，ln(g) 的计算就变成了代码中的

p0 = sum(vec2Classify * p0Vec) + log(pClass0)

p1 = sum(vec2Classify * p1Vec) + log(pClass1)

其中的核心思想是利用 ln(a*b) = ln(a) + ln(b) 将乘法转换为加法防止下溢出。

（推导过程全是文字，因为公式太难写了。推导的灵感是来自于李航的《统计学习方法》第4章朴素贝叶斯法）

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习实战第四节朴素贝叶斯分类笔记

学到第四节时，对于程序清单4-3里的分类方法不是太理解，尤其是：p0= sum(vec2Classify * p0Vec) + log(pClass0)p1 = sum(vec2Classify * p1Vec) + log(pClass1)这部分，好像和贝叶斯公式求的不是一个东西。后来弄明白了，其实是有省略计算的部分，并且多处使用了将乘法转换为加法防止下溢出。推...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。