损失函数、代价函数（经验风险）、期望风险、目标函数（结构风险）

最新推荐文章于 2024-06-03 18:26:30 发布

Vici__

最新推荐文章于 2024-06-03 18:26:30 发布

阅读量765

点赞数

分类专栏： private

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Vici__/article/details/101927918

版权

private 专栏收录该内容

166 篇文章 13 订阅

订阅专栏

损失函数：【单次】

单次预测的错误程度，度量模型一次预测的好坏。

$\LARGE L(Y,f(X))$

代价函数（经验风险）：【局部】

多次预测的错误程度的均值。

$\LARGE \frac{1}{n}\sum_{i=1}^{n}L(Y,f(X))$

期望风险：【全局】

对所有样本预测错误程度的均值

$\large R_{exp}=E_{p}[L(Y,f(X))]=\int_{X\times Y}^{ }L(y,f(x)))\cdot P(x,y) dxdy$

经验风险是局部的，基于训练集所有样本点损失函数最小化。经验风险是局部最优，是现实的可求的。

期望风险是全局的，基于所有样本点损失函数最小化。期望风险是全局最优，是理想化的不可求的。

目标函数（结构风险）：

经验风险 + 正则项（惩罚项）

$\large R_{srm}=\frac{1}{n}\sum_{i=1}^{n}L(y_{i},f(x_{i})))+\lambda J(f)$

参考文献：

《统计学习方法》

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
损失函数、代价函数（经验风险）、期望风险、目标函数（结构风险）

损失函数：【单次】单次预测的错误程度，度量模型一次预测的好坏。代价函数（经验风险）：【局部】多次预测的错误程度的均值。期望风险：【全局】对所有样本预测错误程度的均值经验风险是局部的，基于训练集所有样本点损失函数最小化。经验风险是局部最优，是现实的可求的。期望风险是全局的，基于所有样本点损失函数最小化。期望风险是全局最优，是理想化的不可求的。...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。