机器学习(7)

本文介绍了贝叶斯分类的基础概念,包括贝叶斯决策论、极大似然估计和朴素/半朴素贝叶斯分类器。讲解了如何利用贝叶斯判别准则最小化决策风险,并通过实例演示了朴素贝叶斯在实际问题中的应用。最后提及了贝叶斯网和EM算法在复杂模型中的作用。适合对机器学习初学者和进阶者理解概率模型和分类方法。
摘要由CSDN通过智能技术生成

机器学习笔记7-------------------------贝叶斯分类

贝叶斯分类

贝叶斯决策论

(Bayesian decision theory)

基于概率和误判损失来选择最优分类

基于侯验经验可以获得样本x分类为ci所产生的期望损失,即样本x上的条件风险

任务:找到最小化总体风险

贝叶斯判定准则:在每个样本上选择能使条件风险最小的分类

(贝叶斯最优分类器)

要使用贝叶斯判断准则最小化决策风险,首先要获得后验概率(实践中,难以获得)。

两种策略:

通过建模预测,得到判别式模型

或先对联合概率分布建模,再获得后验概率得到生成式模型

极大似然估计

概率模型的训练过程就是参数估计过程

两个学派:频率主义派认为参数有固定值  贝叶斯学派认为参数服从某个分布

极大似然估计(MLE)来自频率学派

常用对数似然

朴素贝叶斯分类器

采用属性条件独立性假设,假设每个属性独立地对分类结果发生影响,降低估计后验概率的困难

半朴素贝叶斯分类器

对属性条件独立性假设进行放松

贝叶斯网

借有向无环图(DAG)来刻画属性之间的依赖关系,使用条件概率表(CPT)描述属性联合概率分布。

EM算法

expectation maximization,估计参数隐变量的迭代式方法

基本想法:若参数一致,则可根据训练数据推断出最优隐变量,反之,隐变量已知,可对参数进行极大似然估计

 

有朋友对这方面比较了解的吗,怎么学啊,太难了

参考文献

周志华. 机器学习

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值