按自己理解的 ↓ ↓
残差就是 Y-F(x) , 就好像残差网络里面就是用这个公式。
损失函数就是 根据需求定义的 对f(x)与Y的差异的度量方法,这跟度量空间有关,比如 下面的情况,要你比较两个学生谁更好,我们可以设定学习成绩作为比较方法,或者身高等等,这些就好像欧几里得距离,或者余弦距离一样,是设定出来的的度量。 还有一个是目标函数,有些时候目标函数就是损失函数,但是目标函数有些时候是更广的概念,目标函数用作总体的优化目标,而损失函数有时只是目标函数的一个部分而已(比如有时目标函数=损失函数+L2惩罚项)。