机器学习——朴素贝叶斯法

最新推荐文章于 2024-05-21 21:30:26 发布

小小硕、

最新推荐文章于 2024-05-21 21:30:26 发布

阅读量62

点赞数

分类专栏：机器学习文章标签：机器学习人工智能算法朴素贝叶斯算法概率论

本文链接：https://blog.csdn.net/weixin_41676930/article/details/116084139

版权

机器学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

机器学习——朴素贝叶斯法

朴素贝叶斯(naive Bayes)法是 基于贝叶斯定理与特征条件独立假设的分类方法。首先基于特征条件独立假设 学习输入输出的联合概率分布，然后基于此模型，对给定的输入

x

，利用贝叶斯定理 求出后验概率最大的输出

y

。

基本方法

通过训练数据集学习联合概率分布 $P (X, Y)$ ，Based on先验概率 $P(Y=c_k)$ 和条件概率 $\left( X = x \mid Y = c _ { k } \right)$ 求得。
先验概率分布 $P(Y=c_k), \quad k=1,2, \cdots, K$
条件概率分布 $\left( X = x \mid Y = c _ { k } \right) = P \left( X ^ { ( 1 ) } = x ^ { ( 1 ) } , \cdots , X ^ { ( n ) } = x ^ { ( n ) } \mid Y = c _ { k } \right) , \quad k = 1,2 , \cdots , K$
于是学习到联合概率分布 $P (X, Y)$ 。
朴素贝叶斯法对条件概率分布做了条件独立性的假设，该假设是：
$\begin{aligned} P \left( X = x \mid Y = c _ { k } \right) & = P \left( X ^ { ( 1 ) } = x ^ { ( 1 ) } , \cdots , X ^ { ( n ) } = x ^ { ( n ) } \mid Y = c _ { k } \right) \\ & = \prod _ { j = 1 } ^ { n } P \left( X ^ { ( j ) } = x ^ { ( j ) } \mid Y = c _ { k } \right) \end{aligned}$
条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。
后验概率计算根据贝叶斯定理进行：
$\left( Y = c _ { k } \mid X = x \right) = \frac { P \left( X = x \mid Y = c _ { k } \right) P \left( Y = c _ { k } \right) } { \sum _ { k } P \left( X = x \mid Y = c _ { k } \right) P \left( Y = c _ { k } \right) }$
于是朴素贝叶斯分类器可表示为
$\arg \max _ { c _ { k } } \frac { P \left( Y = c _ { k } \right) \prod _ { j } P \left( X ^ { ( j ) } = x ^ { ( j ) } \mid Y = c _ { k } \right) } { \sum _ { k } P \left( Y = c _ { k } \right) \prod _ { j } P \left( X ^ { ( j ) } = x ^ { ( j ) } \mid Y = c _ { k } \right) }$
由于分母对所有 $c_k$ 都是相同的，所以可以只保留分子。

朴素贝叶斯的参数估计

学习意味着估计 $P(Y=c_k)$ 和 $\left( X ^ { ( j ) } = x ^ { ( j ) } \mid Y = c _ { k } \right)$ ，可以用极大似然估计法估计相应的概率。先验概率 $P(Y=c_k)$ 的极大似然估计是
$\left( Y = c _ { k } \right) = \frac { \sum _ { i = 1 } ^ { N } I \left( y _ { i } = c _ { k } \right) } { N } , \quad k = 1,2 , \cdots , K$
条件概率 $\left( X ^ { ( j ) } = a _ { j l } \mid Y = \right.c_k)$ 的极大似然估计是
$\begin{array} { l } P \left( X ^ { ( j ) } = a _ { j l } \mid Y = c _ { k } \right) = \frac { \sum _ { i = 1 } ^ { N } I \left( x _ { i } ^ { ( j ) } = a _ { j l } , y _ { i } = c _ { k } \right) } { \sum _ { i = 1 } ^ { N } I \left( y _ { i } = c _ { k } \right) } \\ j = 1,2 , \cdots , n ; \quad l = 1,2 , \cdots , S _ { j } ; \quad k = 1,2 , \cdots , K \end{array}$

贝叶斯估计

极大似然估计可能会出现所要估计的概率值为0的情况。解决这一问题的方法是采用贝叶斯估计。
$\lambda } \left( X ^ { ( j ) } = a _ { j l } \mid Y = c _ { k } \right) = \frac { \sum _ { i = 1 } ^ { N } I \left( x _ { i } ^ { ( j ) } = a _ { j l } , y _ { i } = c _ { k } \right) + \lambda } { \sum _ { i = 1 } ^ { N } I \left( y _ { i } = c _ { k } \right) + S _ { j } \lambda }$
常取 $\lambda = 1$ ，这时称为拉普拉斯平滑(Laplacian smoothing)。显然有
$\begin{array} { l } P _ { \lambda } \left( X ^ { ( j ) } = a _ { j l } \mid Y = c _ { k } \right) > 0 \\ \sum _ { l = 1 } ^ { S _ { j } } P \left( X ^ { ( j ) } = a _ { j l } \mid Y = c _ { k } \right) = 1 \end{array}$
同样先验概率的贝叶斯估计是
$\lambda } \left( Y = c _ { k } \right) = \frac { \sum _ { i = 1 } ^ { N } I \left( y _ { i } = c _ { k } \right) + \lambda } { N + K \lambda }$

小小硕、

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习——朴素贝叶斯法

朴素贝叶斯法基本方法朴素贝叶斯的参数估计贝叶斯估计朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。首先基于特征条件独立假设学习输入输出的联合概率分布，然后基于此模型，对给定的输入xxx，利用贝叶斯定理求出后验概率最大的输出yyy。基本方法通过训练数据集学习联合概率分布P(X,Y)P(X,Y)P(X,Y)，Based on先验概率P(Y=ck)P(Y=c_k)P(Y=ck)和条件概率P(X=x∣Y=ck)P \left( X = x \mid Y = c _ { k
复制链接

扫一扫