机器学习（7）

最新推荐文章于 2024-07-10 16:08:35 发布

Ab_stupid

最新推荐文章于 2024-07-10 16:08:35 发布

阅读量36

点赞数

文章标签：机器学习人工智能笔记

本文链接：https://blog.csdn.net/Ab_stupid/article/details/133851400

版权

一贝叶斯决策论（Bayesian Decision Theory）

概率框架下实施决策的基本理论：
给定 $N$ 个类别，令 $\lambda_{ij}$ 代表将第 $j$ 类样本误分为第 $i$ 类所产生的损失，则基于后验概率将样本 $x$ 分到第 $i$ 类的条件风险为：
$\sum _ { j = 1 } ^ { N } \lambda _ { i j } P ( c _ { j } | x )$ 贝叶斯判定准则（Bayes decision rule）：
$\operatorname { \mathop{\arg\min}\limits_{c∈y} } R ( c | x )$

$h^*$ 称为贝叶斯最优分类器（Bayes optimal classifier），其总体风险称为贝叶斯风险（Bayes risk）
反映了学习性能的理论上限

二生成式和判别式模型

$P (c ∣ x)$ 在现实中通常难以直接获得
从这个角度来看，机器学习所要实现的是基于有限的训练样本
尽可能准确地估计出后验概率
两种基本策略：
在这里插入图片描述
贝叶斯分类器≠贝叶斯学习

三极大似然估计

先假设某种概率分布形式，再基于训练样例对参数进行估计
假定 $P (x ∣ c)$ 具有确定的概率分布形式，且被参数 $\theta$ 唯一确定，则任务就是利用训练集 $D$ 来估计参数 $\theta_c$
$\theta_c$ 对于训练集 $D$ 中第 $c$ 类样本组成的集合 $D_c$ 的似然(Likelihood)为
$\theta _ { c }) = \prod _ { x ∈ D_c } P ( x | \theta _ { c } )$ 连乘易造成下溢，因此通常使用对数似然（Log-Likelihood）
$\theta _ { c } ) = \log P ( D _ { c } | \theta _ { c } ) = \sum _ { x = D _ { c } } \log P ( x | \theta _ { c } )$ 于是， $\theta _ { c }$ 的极大似然估计为 $\hat\theta_{c}=\mathop{\arg\min}\limits_{\theta_c}LL(\theta_c)$