机器学习笔记7-------------------------贝叶斯分类 贝叶斯分类 贝叶斯决策论 (Bayesian decision theory) 基于概率和误判损失来选择最优分类 基于侯验经验可以获得样本x分类为ci所产生的期望损失,即样本x上的条件风险 任务:找到最小化总体风险 贝叶斯判定准则:在每个样本上选择能使条件风险最小的分类 (贝叶斯最优分类器) 要使用贝叶斯判断准则最小化决策风险,首先要获得后验概率(实践中,难以获得)。 两种策略: 通过建模预测,得到判别式模型 或先对联合概率分布建模,再获得后验概率得到生成式模型 极大似然估计 概率模型的训练过程就是参数估计过程 两个学派:频率主义派认为参数有固定值 贝叶斯学派认为参数服从某个分布 极大似然估计(MLE)来自频率学派 常用对数似然 朴素贝叶斯分类器 采用属性条件独立性假设,假设每个属性独立地对分类结果发生影响,降低估计后验概率的困难 半朴素贝叶斯分类器 对属性条件独立性假设进行放松 贝叶斯网 借有向无环图(DAG)来刻画属性之间的依赖关系,使用条件概率表(CPT)描述属性联合概率分布。 EM算法 expectation maximization,估计参数隐变量的迭代式方法 基本想法:若参数一致,则可根据训练数据推断出最优隐变量,反之,隐变量已知,可对参数进行极大似然估计 有朋友对这方面比较了解的吗,怎么学啊,太难了 参考文献 周志华. 机器学习