李航_统计学习（4）朴素贝叶斯法

最新推荐文章于 2021-07-14 17:46:37 发布

Dxy17

最新推荐文章于 2021-07-14 17:46:37 发布

阅读量230

点赞数

分类专栏：机器学习统计学习书文章标签：朴素贝叶斯

本文链接：https://blog.csdn.net/m0_37548423/article/details/89247803

版权

机器学习同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

统计学习书

4 篇文章 0 订阅

订阅专栏

介绍

朴素贝叶斯法（naive Bayes）是基于贝叶斯定理和特征条件独立假设的分类方法。

特征条件独立是一个假设，“朴素”也由此而来。

对于给定的训练数据集，首先基于特征条件独立假设学习输入X和输出Y的联合概率分布P(X,Y)；然后基于此模型，对给定的x利用贝叶斯定理求出后验概率最大的输出y。

书中说此方法实现简单，学习与预测的效率很高，是一种常用的方法。

朴素贝叶斯法的学习与分类

基本方法

（1）输入空间： $\chi \subseteq R^{n}$ （n维向量的集合）；输入空间上的随机向量X

（2）输出空间： $Y=\left \{ c_{1}, c_{2},...c_{k}\right \}$ (类标记集合)；输出空间上的随机向量Y

（3）X和Y的联合分布概率P(X,Y)

（4）训练数据集 $T= \left \{\left( x_{1}, y_{1}\right ),...,\left ( x_{N},y_{N} \right ) \right \}$ （由P(X,Y)独立同分布产生）

（5）先验概率分布：

$P(Y = c_{k}), k =1,2,...,K$

（6）条件概率分布：

$P(X= x|Y = c_{k}) = P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y = c_{k}),k = 1,2,...K$

朴素贝叶斯法对条件概率分布作了条件独立性假设（由于这是一个较强的假设，朴素贝叶斯法也由此得名），即：

$P(X= x|Y = c_{k}) = P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y = c_{k})$

$=\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y = c_{k})$

于是学习到联合概率分布P(X,Y)

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设即用于分类的特征在类确定的条件下都是条件独立的，这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

（7）朴素贝叶斯分类

朴素贝叶斯分类时，对给定的输入x，通过学习到的模型计算后验概率分布 $P(Y = c_{k}|X= x)$ ，将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行：

根据条件独立性

这是朴素贝叶斯法分类的基本公式。于是，朴素贝叶斯分类器可表示为：

等价于求解分子的最大值。

后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化，假设选择0-1损失函数,f(X)是分类决策函数，Y是真实分类标签：

$L(Y,f(X)) = \left\{\begin{matrix} 1,Y\neq f(X)\\ 0,Y=f(X) \end{matrix}\right.$

这时，期望风险函数为

R(f) = E[L(Y,f(X))]

期望是对联合分布P(X,Y)取的。由此取条件期望

为了使期望风险最小化，只需对X=x逐个极小化，由此得到：

根据期望风险最小化准则就得到了后验概率最大化准则：

朴素贝叶斯法的参数估计

极大似然估计

先验概率:

$P(Y,c_{k}) = \frac{\sum_{i=1}^{N} I(y_{i}=c_{k})}{N}, k=1,2,...,K$

设第j个特征 $X^{(j)}$ 可能取值的集合为 ${a_{j1},a_{j2},...a_{js_{j}}}$ ，条件概率 $P(X^{(j)}=a_{ji}|Y=c_{k})$ 的极大似然估计是

式中， $x_{j}^{(i)}$ 是第i个样本的第j个特征； $a_{jl}$ 是第j个特征可能取的第l个值；I为指示函数。

学习与分类算法

算法4.1（朴素贝叶斯算法（naive Bayes algorithm））

输入：训练数据 $T= \left \{\left( x_{1}, y_{1}\right ),...,\left ( x_{N},y_{N} \right ) \right \}$ ，其中 $x_{i} = (x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(n)})^{T}$ ， $x_{j}^{(i)}$ 是第i个样本的第j个特征， $x_{j}^{(i)}\in \left \{ a_{j1},a_{j2},...,a_{js_{j}} \right \}$ ， $a_{jl}$ 是第j个特征可能取值的第l个值， $j = 1,2,...,n, l = 1,2,...S_{j}, y_{i}\in \left \{ c_{1},c_{2},..,c_{K} \right \}$ ；实例x；

输出：实例x的分类。

（1）计算先验概率及条件概率

（2）对于给定的实例x计算

（3）确定实例x的类

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。采用贝叶斯估计可以解决这一问题的方法。条件概率的贝叶斯估计是：

式中 $\lambda \geqslant 0$ 。等价于在随机变量各个取值的频数上赋予一个整数 $\lambda > 0$ 。当λ=0时就是极大似然估计。λ=1这时称为拉普拉斯平滑。显然，对于任何l=1,2,...,Sj，k=1,2,...,K，有

先验概率的贝叶斯估计是

局限性

（1）假设特征独立，这在实际应用中往往不成立，在属性个数比较多或者属性之间相关性较大时，分类效果不好；

（2）需要知道先验概率。

Dxy17

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
李航_统计学习（4）朴素贝叶斯法

介绍朴素贝叶斯法（naive Bayes）是基于贝叶斯定理和特征条件独立假设的分类方法。特征条件独立是一个假设，“朴素”也由此而来。对于给定的训练数据集，首先基于特征条件独立假设学习输入X和输出Y的联合概率分布P(X,Y)；然后基于此模型，对给定的x利用贝叶斯定理求出后验概率最大的输出y。书中说此方法实现简单，学习与预测的效率很高，是一种常用的方法。朴素贝叶斯法的学习与分类...
复制链接

扫一扫

专栏目录