代理损失函数(surrogate loss function)

最新推荐文章于 2023-01-30 10:17:50 发布

V83109

最新推荐文章于 2023-01-30 10:17:50 发布

阅读量4.3k

点赞数 3

文章标签：人工智能数据结构与算法

原文链接：http://www.cnblogs.com/selfcs/p/11363481.html

版权

代理损失函数（surrogate loss function）在二元分类问题中用于替代难以优化的零一损失函数。本文介绍了零一损失的计算示例，解释了为什么需要代理损失，特别是当原始损失函数不连续时。以逻辑回归的logloss为例，说明代理损失函数通常是凸函数，便于优化，并讨论了代理损失与零一损失之间的校对性和一致性概念。

摘要由CSDN通过智能技术生成

Surrogate loss function，中文可以译为代理损失函数。当原本的loss function不便计算的时候，我们就会考虑使用surrogate loss function。

在二元分类问题中，假如我们有\(n\)个训练样本\(\{(X_1,y_1),(X_2,y_2),\cdots,(X_n,y_n)\}\)，其中\(y_i\in\{0,1\}\)。为了量化一个模型的好坏，我们通常使用一些损失函数，损失函数越小，模型越好。最常用的损失函数就是零一损失函数\(l(\hat y,y)\)。
\[ l(y, \hat y)=\sum_{i=1}^m\chi(y_i\neq\hat y_i). \]
比如说，测试集里有5个数据点，真实分类为\(y=(1,1,1,-1,-1)\)，预测分类为\(\hat y =(1,-1,1,1,-1)\)。那么

\[ l(y, \hat y)=0+1+0+1+0=2. \]
对于一个loss function\(l\)，我们的目标是要找到一个最优的分类器