机器学习的学习准则（期望风险最小化、经验风险最小化、结构风险最小化）

最新推荐文章于 2023-12-12 16:57:43 发布

learnrocks100

最新推荐文章于 2023-12-12 16:57:43 发布

阅读量1.5k

点赞数

分类专栏：机器学习文章标签：机器学习期望风险学习准则经验风险最小化正则化

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/cyz_2014/article/details/131269097

版权

机器学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

文章讨论了机器学习中评估模型性能的期望风险、经验风险及其关系。期望风险无法直接计算，因为真实分布未知，而经验风险是基于训练集的平均损失。当训练样本有限时，过拟合可能发生，为此引入了结构风险最小化，结合正则化防止模型过度拟合。

摘要由CSDN通过智能技术生成

训练集是有N个独立同分布的样本组成，即每个样本(x,y)是独立的从相同的分布中抽取的。这个真实的分布 $p_{r}(x, y)$ 未知

输入空间X和输出空间Y构成样本空间，对于样本空间中的样本(x, y)∈X x Y，假定x和y之间可通过一个未知的真实隐射y=g(x)来描述，或者通过真实条件概率分布 $p_{r}(y|\textbf{x})$ 来描述。

1 期望风险

要评价模型f(x, θ)的好坏，可通过期望风险R(θ)来衡量：

$R(\theta ) = E_{(\textbf{x},y)\sim p_{r}(y|\textbf{x})}[L(y, f(\textbf{x};\theta))]$

回顾一下数学期望的含义，

期望E[X]的含义是随机变量x与概率密度函数f(x)相乘以后的积分

期望E[g(X)]的含义是随机变量的函数g(x)与概率密度函数f(x)相乘以后的积分

现在求R(θ)，即损失函数 $L(y, f(\textbf{x};\theta))$ 与真实分布 $p_{r}(\textbf{x}, y)$ 相乘以后的积分（可能是多重积分）

求期望损失R(θ)不仅需要知道损失函数还需要知道真实分布 $p_{r}(\textbf{x}, y)$ ,损失函数可以通过一定的准则计算得到，但是样本空间的真实分布是未知的。所以不能直接求R(θ)。

2 经验风险和经验风险最小化

期望风险R(θ)无法计算，给定一个训练集D = $\left \{ (x^{(n)}, y^{(n)}) \right \}_{n=1}^{N}$ ，我们可以计算经验风险，经验风险就是在训练集上的平均损失：

$R_{D}^{emp}(\theta) = \frac{1}{N}\sum_{n=1}^{N}L(y^{(n))}, f(\textbf{x}^{(n)};\theta))$

emp就代表经验损失Empirical Risk

学习准则就是找到一组参数 $\theta^{*}$ 使得经验风险最小化：

$\theta^{*} = \underset{\theta}{argmin}R_{D}^{emp}(\theta)$

这就是经验风险最小化准则。

3 结构风险和结构风险最小化

根据大数定理，训练集D的大小无限大时，经验风险就趋于期望风险，但是通常情况下训练样本时真实数据的一个很小的子集，并且包含噪声。如果一味的使得在训练集上的经验风险最小，有可能使得在未知数据上的错误率很高。这就是出现了过拟合。过拟合的是由于训练数据少，训练数据上有噪声，以及模型能力过强造成的。

为了解决过拟合问题，引入了参数正则化来限制模型的能力。使其不要过度的最小化经验风险。这种准则就是结构风险最小化准则：

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
机器学习的学习准则（期望风险最小化、经验风险最小化、结构风险最小化）

要评价模型f(x, θ)的好坏，可通过期望风险R(θ)来衡量：求期望损失R(θ)不仅需要知道损失函数还需要知道真实分布,损失函数可以通过一定的准则计算得到，但是样本空间的真实分布是未知的。所以不能直接求R(θ)。期望风险R(θ)无法计算，给定一个训练集D =，我们可以计算经验风险，经验风险就是在训练集上的平均损失：为了解决过拟合问题，引入了参数正则化来限制模型的能力。使其不要过度的最小化经验风险。这种准则就是结构风险最小化准则
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。