损失函数和目标函数|知识补充

这张图中，横坐标size表示房屋的大小，纵坐标price表示房屋的价格，现在需要建立模型来表示两者之间的关系。

对于给定的输入x，模型会有一个输出f(x)，用一个函数来度量拟合的程度，也就是真实值和预测值之间的差距，这个函数就称为损失函数。损失函数越小，就代表模型拟合的越好。

1.什么是损失函数

损失函数，用来估量模型的预测值f(x)和真实值y之间的差异。损失函数举例：

2. 什么是经验风险

风险函数，是损失函数的期望。f(x)关于训练集的平均损失称为经验风险，为：

上面的图中，虽然第三个函数的图像对数据拟合的最好，损失函数最小，但是这并不是最好的。因为它出现过拟合习现象，过度学习历史数据。第一个函数的图像对历史数据拟合的很差，出现欠拟合现象。

目标是：不仅要让经验风险最小化，还要让结构风险最小化。

3.正则化

造成过拟合的主要原因是模型太复杂了，定义一个函数 J（f）专门用来度量模型的复杂度，在机器学习中叫做正则化（regularization)。常用的正则化函数有L1和L2范数。

4.什么是目标函数

∴ 我们最终的优化函数是：损失函数+正则化函数

即优化经验风险和结构风险，这个函数被称为目标函数。优化训练误差可以让模型具有预测性，优化正则可以让模型更简单，预测更稳定。

bias偏差，variance方差。