一文读懂朴素贝叶斯模型

最新推荐文章于 2020-10-25 20:16:31 发布

coder_kang

最新推荐文章于 2020-10-25 20:16:31 发布

阅读量1.3k

点赞数 1

分类专栏：机器学习文章标签：机器学习人工智能概率论算法深度学习

本文链接：https://blog.csdn.net/coder_kang/article/details/104002510

版权

本文深入浅出地介绍了朴素贝叶斯模型，从概率论基础出发，探讨了条件概率、全概率公式和贝叶斯公式。通过讲解模型的基本方法，包括条件独立性假设，展示了如何构建朴素贝叶斯分类器。文章还讨论了参数估计的极大似然估计和贝叶斯估计，以及在样本稀疏时避免概率为零的问题。最后，简述了算法的实施和应用场景，强调了数学在机器学习中的核心作用。

摘要由CSDN通过智能技术生成

1 概述

朴素贝叶斯模型是很经典的统计学习模型，在人工智能的上古时期就已经被人们发明出来。对这个模型的学习需要有一定的概率论和数理统计的知识，但是并不复杂。整个模型就围绕一件事情，如何求后验概率，即： $P(Y=c_{k}|X=x)$
定睛一看，也就是个条件概率，求在X=x的条件下，Y=c_k的概率，说白了，就是对于给定的x，求出它属于Y=c_k这一类的概率。

这个也是很直观的，我们的目标就是对给定的x进行分类，先求出其属于每一类的概率，再找到哪一类的概率最大就可以。

那现在问题就来了，如何求这个后验概率呢？这就是朴素贝叶斯模型需要解决的问题。

2 相关数学知识

在机器学习中，我们一般会遇到两类模型，一种是非概率模型，比如感知机，K近邻模型等，都是实打实的对数据进行相关的训练或处理，直接得到一个确切的决策函数，以进行回归或分类操作。而还一类就是概率模型，最后求得的是条件概率或者确切的说是后验概率，然后在后验概率中，选择概率最大的那一类为我们的值。

作为概率模型，我们了解相关的概率知识就是很重要的了。

条件概率公式:
$P(A|B)=\frac{P(AB)}{P(B)}$ 即事件B发生的条件下，A发生的概率。其中P(AB)是事件A和事件B同时发生的概率。
全概率公式：
$\sum_{i =1}^{n} P(B_{i})\cdot P(A|B_{i})=\sum_{i=1}^{n}P(AB_{i})$
即事件A的概率等与A和B_i同时发生的概率的累加和。通俗的来说，要达成事件A，有i个可能的选择即B_i，每次在选择B_i时，发生A的概率为P(AB_i),把每个选择的概率累加起来，就是事件A发生的概率。
贝叶斯公式
$P(B_{i}|A)=\frac{P(AB_{i})}{P(A)}=\frac{P(B_{i})\cdot P(A|B_{i})}{ \sum_{i =1}^{n} P(B_{i})\cdot P(A|B_{i})}$
这个贝叶斯公式，就是我们今天的主角了。我们可以看到，贝叶斯公式实质就是一个条件概率公式。