朴素贝叶斯原理及其应用实现

最新推荐文章于 2024-05-23 15:43:21 发布

silentkunden

最新推荐文章于 2024-05-23 15:43:21 发布

阅读量455

点赞数

分类专栏：机器学习 nlp 文章标签：自然语言处理机器学习朴素贝叶斯算法

本文链接：https://blog.csdn.net/java_hzp/article/details/117150619

版权

机器学习同时被 2 个专栏收录

9 篇文章 1 订阅

订阅专栏

nlp

5 篇文章 0 订阅

订阅专栏

本文介绍了机器学习中的贝叶斯定理及其在文本分类中的应用，特别是朴素贝叶斯算法。通过讲解如何计算后验概率来决定文本分类，以及在实际案例中如何处理文本数据，展示了如何利用独立特征假设简化计算。此外，还讨论了在计算过程中引入对数的优化策略，以避免小数累乘导致的数值问题。

摘要由CSDN通过智能技术生成

先前在恶补机器学习算法的原理及实现，在此做一些总结记录。

首先是贝叶斯法则：

$p(B|A) = \frac{P(A | B)P(B)}{P(A)} = \frac{P(B\cap A)}{P(A)}$

其中， $p(B)$ 为先验概率，而 $p(B | A)$ 表示为在事件A发生的情况下事件B发生的概率；在贝叶斯分类中，在得知后验概率 $p(B | A)$ （表示在某事件发生了，并且它属于哪个分类）的情况下，就可以对样本进行分类，后验概率越大则其为该分类的可能性越大。

而朴素贝叶斯则是一种强假设，假设每一种的特征中都是相互独立的，每一种特征同等重要；例如在垃圾邮件分类中，每一个词的出现的可能性与它周边相邻的词没有关系（这是一种强假设，实际上每一个词出现与上一个词是有联系的，只是在此强调相互独立）。

文本分类案例分析：

假设有 $m$ 个文本集合 $D(d_{1},..,d_{m})$ ，每个文档属于 $n$ 个分类 $(C_{_{1}},C_{2},...,C_{n})$ ，给定一篇文档 $d$ ，文档最有可能是属于哪个分类呢？可以用以下公式表示：

$c = argmaxP(c_{i} | d) = argmax\frac{p(d | c_{i})p(c_{i})}{p(d)} , c_{i}\in {c_{1},...,c_{n}}$

其中， $c$ 表示文档所属分类（即 $(C_{_{1}},C_{2},...,C_{n})$ 中的一个），而 $argmax$ 表示取概率最大的，而在计算最大的概率时，由于分母 $p(d)$ 都是不变的，则计算 $argmax P(d|c_{i})P(c_{i})$ 即可，式中 $P(d | c_{i})$ 称为似然函数，而 $P(c_{i})$ 称为先验概率。

假设文档 $d$ 中由 $k$ 个 $word$ 组成，则文档中由这 $k$ 个 $word$ 组成的特征为 $\left \{ {f_{1},...,f_{k}} \right \}$ ，其中 $f$ 表示 $word$ 在文档中出现的次数，则由上式可以表示为：

$c = argmaxP(f_{1},...,f_{k} | c_{i})P(c_{i})$

并且每一个特征都是独立的，因此 $P(f_{1},...,f_{k} | c_{i}) = P(f_{1} | c_{i})*...*P(f_{k} | c_{i})$ ，所以上式可以表示为：

$c = argmax P(c_{i})\prod P(f | c_{i})$

在引入对数函数 $log$ 以后（引入对数主要是为了更直观的看出结果，并且可以避免小数累乘以后结果underflow），则上式可以表示为

$c = argmax(logP(c_{i}) + \sum logP(f | c_{i}))$

silentkunden

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
朴素贝叶斯原理及其应用实现

先前在恶补机器学习算法的原理及实现，在此做一些总结记录。首先是贝叶斯法则：其中，为先验概率，而表示为在事件A发生的情况下事件B发生的概率；在贝叶斯分类中，在得知后验概率（表示在某事件发生了，并且它属于哪个分类）的情况下，就可以对样本进行分类，后验概率越大则其为该分类的可能性越大。...
复制链接

扫一扫

专栏目录