模型评估与优化-2

损失函数的概念

损失函数(Loss function)：是用来估量模型的预测值与真实值的不一致程度，是一个非负实值函数。损失函数越小，模型的鲁棒性就越好。

• 0-1损失函数：该损失函数的意义就是，当预测错误时，损失函数值为1，预测正确时，损失函数值不考虑预测值和真实值的误差程度，也就是只要预测错误，预测错误差一点和差很多都一样。
  
• Note: 由于相等这个条件太过严格，因此我们可以放宽条件，即满足 |Y−f(X)|<T时，认为相等。
• 

平方损失函数/绝对值损失函数

• 平方损失函数又常被称为最小二乘法：即预测值与真实值差的平方和。
  

• 绝对值损失函数：意义与平方损失函数相似，只不过取了绝对值，差距不会被平方缩放。