机器学习笔记第七章贝叶斯分类器

鲸~屿

已于 2024-07-30 02:15:04 修改

阅读量429

点赞数 4

分类专栏：机器学习文章标签：机器学习笔记人工智能

于 2024-07-29 17:51:35 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_53034510/article/details/140770058

版权

机器学习专栏收录该内容

13 篇文章

订阅专栏

7.1 贝叶斯决策论

贝叶斯决策论是概率框架下实施决策的基本方法.对分类任务来说，在所有相关概率都己知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。给定N个类别，令 $\lambda _{ij}$ 代表将第j类样本误分类为第i类所产生的损失，则基于后验概率将样本x分到第i类的条件风险为：

为最小化总体风险，只需在每个样本上选择那个能使条件风险 $R(c|x)$ 最小的类别标记，即贝叶斯判定准则：

$h^{*}$ 称为贝叶斯最优分类器，其总体风险称为贝叶斯风险，反映了分类器所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。 $P(c|x)$ 在现实中通常难以直接获得，从这个角度来看，机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率。大体来说，主要有两种策略：给定 x，可通过直接建模 $P(c|x)$ 来预测 c，这样得到的是"判别式模型" ，包括决策树、 BP 神经网络、支持向量机等; 也可先对联合概率分布 $P(x,c)$ 建模，然后再由此获得 $P(c|x)$ ，这样得到的是"生成式模型"，必须考虑

基于贝叶斯定理， $P(c|x)$ 可写为

其中， $P(c)$ 是类"先验"概率； $P(x|c)$ 是样本 $z$ 相对于类标记 $c$ 的类条件概率，或称为"似然" ; $P(x)$ 是用于归一化的"证据" 因子。

7.2 极大似然估计

估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。具体地，记关于类别c的类条件概率为 $P(x|c)$ ，假设 $P(x|c)$ 具有确定的形式并且被参数向量 $\theta _{c}$ 唯一确定，则我们的任务就是利用训练集D估计参数 $\theta _{c}$ 。参数θc对于数据集Dc 的似然是

连乘操作易造成下溢，通常使用对数似然

于是， $\theta _{c}$ 的极大似然估计 $\hat{\theta }_{c}$ 为

7.3 朴素贝叶斯分类器

基于有限训练样本直接估计联合概率，在计算上将会遭遇组合爆炸问题，在数据上将会遭遇样本稀疏问题，属性数越多，问题越严重。基于属性条件独立性假设，贝叶斯公式可重写为

由于对所有类别来说P(x) 相同，于是

先估计 $P(c)$

$\blacksquare$ 对离散属性而言，令 $D_{c,x_{i}}$ 表示 $D_{c}$ 中在第 $i$ 个属性上取值为 $x_{i}$ 的样本组成的集合，则

$\blacksquare$ 对于连续属性，考虑概率密度函数，假定 $p(x_{i}|c)\sim N(\mu _{c,i},\sigma _{c,i}^{2})$ ，则

7.4 拉普拉斯修正

若某个属性值在训练集中没有与某个类同时出现过，则直接计算会出现问题，因为概率连乘将“抹去”其他属性提供的信息。令 N 表示训练集 D 中可能的类别数， $N_{i}$ 表示第i个属性可能的取值数，则

参考文献：《机器学习》周志华

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。