对朴素贝叶斯分类器的理解

最新推荐文章于 2021-12-16 21:32:02 发布

Yokate

最新推荐文章于 2021-12-16 21:32:02 发布

阅读量361

点赞数

文章标签：朴素贝叶斯法先验概率后验概率

本文链接：https://blog.csdn.net/yaokun2012/article/details/81914215

版权

（逻辑有点乱，待修改）

由李航《统计学习方法》中的第四章可得朴素贝叶斯分类器：

$y=arg _{c_{k}}^{max}\textrm{} P(Y =c_{k} )\prod P(X^{(j)}=x^{(j)}|Y=c_{k})$

式中，连乘符号是针对j的，j表示 $x$ 中的第j个特征 $x^{(j)}$ ，不考虑连乘符号后的项，仅 $P(Y =C_{k} )$ 中 $C_{k}$ 项可能的取值数量为K（ $y_{i}\in (c_{1},c_{2},c_{3},c_{4}......c_{K})$ ）。也就是选最大值是从K个值选（先暂且这么认为）。

对于连乘项，如果采用极大似然估计（其实采用贝叶斯估计也是一样的），对 $P(Y = c_{k})$ ，则有：

$P(Y = c_{k})=\frac{\sum_{i=1}^{N}I(y_{i}=c_{k})}{N},k=1,2,...K$

对每个 $C_{k}$ 值， $P(Y = c_{k})$ 取值唯一，共有K种取值可能。

而条件概率 $P(X^{(j)}=a_{jl}|Y=c_{k})$ 的极大似然估计是：

$P(X^{(j)}=a_{jl}|Y=c_{k})=\frac{\sum_{i=1}^{N}I(x_{i}^{(j)} = a_{jl}, y_{i} = c_{k})}{\sum_{i=1}^{N}|(y_{i} = c_{k})}$

分号下方的项中，N代表的是训练集中的样本数，如果类标记取为 $C_{k}$ 后，该项变为定值。

分号上方的项中 $a_{jl}$ 表示 $x^{(j)}$ 中的第个特征值可能的第 $l$ 个取值， $l=1,2,3,......,S_{j}$ ,共有 $S_{j}$ 种取值可能。 $X^{(j)}=a_{jl}$ 表示的第个特征取 $a_{jl}$ ，那么 $P(X^{(j)}=a_{jl}|Y=c_{k})$ 表示在 $Y=c_{k}$ 条件下， $X^{(j)}=a_{jl}$ 的概率。

其实在这里有点绕，首先要区分两个变量 $x^{j}$ 和 $x_{i}^{(j)}$ , $x^{j}$ 表示待分类的实例的第j个特征，而 $x_{i}^{(j)}$ 表示中第i个样本 $x_{i}$ 的第j个特征，表示为 $x_{i}^{(j)}$ 。 $x_{i}^{(j)}\in (a_{j1},a_{j2},a_{j3},a_{j4},......a_{jS_{j}},)$ 也就是说 $a_{jl}$ 的取值来自训练数据集。 $X^{(j)}=a_{jl}$ 表示待分类实例中的 $x^{j}$ 特征取 $a_{jl}$ 。至于 $x^{j}$ 是否等于 $a_{jl}$ 是不确定的。（解决方法：等于最好，不等于就说明 $x_{i}^{(j)}\in (a_{j1},a_{j2},a_{j3},a_{j4},......a_{jS_{j}},)$ 里边没有这个特征值，此处就可以用贝叶斯估计。）

结合上两个公式，贝叶斯分类器可以化简为下式：

$y=arg _{c_{k}}^{max}\textrm{} P(Y =c_{k} )\prod \frac{\sum_{i=1}^{N}I(x_{i}^{(j)} = a_{jl}, y_{i} = c_{k})}{\sum_{i=1}^{N}|(y_{i} = c_{k})}$

表达的含义就是对于待分类实例，当选择其类别为 $C_{k}$ 时，按照待分类实例中各特征值 $x^{j}$ 所取的值去查找训练数据集中对应位置的特征值取相同值时的概率。由此求出一个概率， $C_{k}$ 取完所有的可能取值之后，对这些取值进行排序，之后取最大值作为最后的输出值，也就是分类

Yokate

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
对朴素贝叶斯分类器的理解

（逻辑有点乱，待修改）由李航《统计学习方法》中的第四章可得朴素贝叶斯分类器：式中，连乘符号是针对j的，j表示中的第j个特征，不考虑连乘符号后的项，仅中项可能的取值数量为K（）。也就是选最大值是从K个值选（先暂且这么认为）。对于连乘项，如果采用极大似然估计（其实采用贝叶斯估计也是一样的），对，则有：对每个值，取值唯一，共有K种取值可能。而条件概率的极大似然估计是：...
复制链接

扫一扫