代理损失函数(surrogate loss function)

Surrogate loss function，中文可以译为代理损失函数。当原本的loss function不便计算的时候，我们就会考虑使用surrogate loss function。

在二元分类问题中，假如我们有\(n\)个训练样本\(\{(X_1,y_1),(X_2,y_2),\cdots,(X_n,y_n)\}\)，其中\(y_i\in\{0,1\}\)。为了量化一个模型的好坏，我们通常使用一些损失函数，损失函数越小，模型越好。最常用的损失函数就是零一损失函数\(l(\hat y,y)\)。
\[ l(y, \hat y)=\sum_{i=1}^m\chi(y_i\neq\hat y_i). \]
比如说，测试集里有5个数据点，真实分类为\(y=(1,1,1,-1,-1)\)，预测分类为\(\hat y =(1,-1,1,1,-1)\)。那么

\[ l(y, \hat y)=0+1+0+1+0=2. \]
对于一个loss function\(l\)，我们的目标是要找到一个最优的分类器