损失函数(Loss Function)的基本概念是定义在单个样本上的,是指一个样本的误差。
代价函数(Cost Function)是定义在整个训练集上的,是所有样本误差的平均,也就是所有损失函数值的平均。
目标函数(Object Function)是指最终需要优化的函数,一般来说是经验风险+结构风险,即:代价函数+正则化项。
更多的时候我们所说的损失函数就是代价函数,这关系不大,因为从它们的定义上来说,是一回事情;目标函数与代价函数相关,但又更广的概念,有时候可以做一个通俗的区别:目标函数是最大化或者最小化,而代价函数是最小化
在训练模型时,损失函数越小,就代表模型拟合的越好,对于历史数据的学习的越好,
风险函数(risk function):损失函数的期望