深入理解贝叶斯模型

最新推荐文章于 2024-05-24 12:38:47 发布

奋斗的周周

最新推荐文章于 2024-05-24 12:38:47 发布

阅读量6.1k

点赞数

分类专栏：机器学习/深度学习

本文链接：https://blog.csdn.net/qq_23013309/article/details/95937788

版权

5 篇文章 10 订阅

订阅专栏

条件概率公式，已知A发生时B发生的概率: $P(B|A) = \frac {P(AB)}{P(A)}$

它的实质是：在给定条件下某事件发生的可能性

贝叶斯公式： $P(A|B) = \frac {P(B|A)P(A)}{P(B)}$

它的实质是：已知某事件发生，推导其条件的概率

在分类场景下，对贝叶斯公式进行扩展： $P(c_{i}|x_{1}x_{2}...x_{n}) = \frac {P(x_{1}x_{2}...x_{n}|c_{i})P(c_{i})}{P(x_{1}x_{2}...x_{n})}$

$c_{i}$ 是第i个类别， $x_{1}, x_{2}, ..., x_{n}$ 为某样本的n个特征，对于给定的样本来说 $P(x_{1}x_{2}...x_{n})$ 是一给定值

那么 $P(c_{i}|x_{1}x_{2}...x_{n}) = \frac {P(x_{1}x_{2}...x_{n}|c_{i})P(c_{i})}{P(x_{1}x_{2}...x_{n})}$ 正比于 $P(x_{1}x_{2}...x_{n}|c_{i})P(c_{i})$

所以只要求得 $P(x_{1}x_{2}...x_{n}|c_{i})P(c_{i})$ 的最大值就可以判断出它属于哪个类别

假设各特征间独立，那么有 $P(x_{1}x_{2}...x_{n}|c_{i})P(c_{i}) = \prod_{i=1}^{n} P(x_{1}|c_{i})P(x_{2}|c_{i})...P(x_{i}|c_{i})P(c_{i})$

为了方便计算对两边取对数有 $logP(x_{1}x_{2}...x_{n}|c_{i})P(c_{i}) = log P(x_{1}|c_{i}) + logP(x_{2}|c_{i})... + logP(x_{i}|c_{i}) + logP(c_{i})$

综上有 $P(c_{i}|x_{1}x_{2}...x_{n}) = max(log P(x_{1}|c_{i}) + logP(x_{2}|c_{i})... + logP(x_{i}|c_{i}) + logP(c_{i}))$

假设提供的学习数据中有n个分类，每个分类下有m个样本，那么第i个类别 $P(c_{i}) = \frac{m_{i}}{\sum_{i=1}^{n}(m1 + m2 +... + m_{n})}$

假设每个分类都有n个特征，在已知类别i下有 $P(x_{i}|c_{i}) = \frac{x}{y}$ , x表示特征i的总数量，y表示分类i下所有的特征总和

当对模型进行训练时，实际上就是求上述的值，在预测给定的文本时，对文本按给定的规则抽取特征，然后在各个分类下计算在各分类下计算其值，在哪个分类下概率值最大，那么该文本就属于该类

在实际中，对于分类的每个特征有可能在某个分类是不存在，但不存在不能说该特征就一定不会在该类别下不出现，这就要对

该情况进行平滑处理

关注

专栏目录