ML-朴素贝叶斯

最新推荐文章于 2019-02-21 08:52:04 发布

jiuniangyuanzikk

最新推荐文章于 2019-02-21 08:52:04 发布

阅读量232

点赞数

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/jiuniangyuanzikk/article/details/74066772

版权

机器学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

在做分类算法的时候，很多算法都不错，但是有时可能需要获取到分类结果的概率，这时候就可以用上贝叶斯了

贝叶斯决策理论：

贝叶斯理论假设所有的先验条件都是独立的，

$P(y \mid x_1, \dots, x_n) = \frac{P(y) P(x_1, \dots x_n \mid y)} {P(x_1, \dots, x_n)}$ $P(y \mid x_1, \dots, x_n) = \frac{P(y) P(x_1, \dots x_n \mid y)} {P(x_1, \dots, x_n)}$

根据独立性：

p(x1,......xn|y) = p(x1|y)*p(x2|y)*.............*p(xn|y)

$P(y \mid x_1, \dots, x_n) = \frac{P(y) \prod_{i=1}^{n} P(x_i \mid y)} {P(x_1, \dots, x_n)}$

上式对于离散数据可以用，如果特征中有连续值，就不可以了，应为连续值得概率是0，导致最终的概率连乘导致为0.所以这里可以用概率密度函数来表示

这里可用高斯分布的概率密度函数：

$P(x_i \mid y) &= \frac{1}{\sqrt{2\pi\sigma^2_y}} \exp\left(-\frac{(x_i - \mu_y)^2}{2\sigma^2_y}\right)$

贝叶斯有个缺，就是有可能会出现训练集中没有的特征，导致这个特征的先验概率为0，同样会导致最后的连乘为0. 解决方法就是对所有的概率使用拉普拉斯修正

p(x₁|c₁)= n₁ / n

而拉普拉斯平滑就是将上式修改为：

p(x₁|c₁)= (n₁ + 1) / (n + N)

p(x₂|c₁)= (n₂ + 1) / (n + N)

jiuniangyuanzikk

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ML-朴素贝叶斯

在做分类算法的时候，很多算法都不错，但是有时可能需要获取到分类结果的概率，这时候就可以用上贝叶斯了贝叶斯决策理论：如果有两类数据，p1(x,y)的概率属于第一类， p2(x,y)的概率属于第二类，那么如果测试数据(x,y)p1(x,y) > p2(x,y) 就属于第一类p2(x,y) > p1(x,y) 就属于第二类这就是贝叶斯决策理论的核心思想了。可以这样理解贝叶斯决策：
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。