损失函数与决策函数的区别

loss function和 decision function的区别

lossfunction一般翻译为损失函数，它主要作用在模型训练阶段，并且训练数据包含类别标签或者是目标值。此时损失函数可以借助输入数据和训练数据中所提供的结果，计算出当前模型是否能通过输入数据得出想要的结果。损失函数对于当前模型优略的评估可以通过反向传播进一步指导模型不断更新参数，进而到达最优的状态。最常见的损失函数有平方损失函数（如图1），交叉熵损失函数（如图2），以及最常用的函数MSE loss（如图3）

图1

图2

图3

decision function一般翻译为决策函数，顾名思义是指在模型中进行决策的函数，也就是在模型中真正干活的函数。它主要工作在应用阶段，而非训练阶段。训练阶段训练的就是决策函数。

一个形象的比喻：decision function是员工，loss function是老板。员工干活，老板心中明白员工干完活有什么样的效果，进而根据员工实际干活的效果决定应该奖励员工还是鞭策员工。随着反复的奖励或者鞭策，员工慢慢就知道如何工作才能达到最好的状态，此时也就是说我们训练的模型收敛了。员工去其他地方工作时就知道如何工作是正确的。