目标函数的由来

损失函数

(loss function)是定义在单个样本上的，是指一个样本的误差（估量模型的预测值f(x)与真实值Y的不一致程度）。与代价函数(cost function)是同一个东西。损失函数越小说明拟合结果越符合数据集的情况

风险函数

经验风险函数

损失函数的期望（前n个损失函数之和/N），这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(X)关于训练集的平均损失称作经验风险，我们的目标就是最小化经验风险。

结构风险函数

当样本容量不大的时候，经验风险最小化容易产生“过拟合”的问题，为了“减缓”过拟合问题，提出了结构风险最小理论。这个时候就定义了一个函数 ，这个函数专门用来度量模型的复杂度。通常使用L1、L2范数当做J(f)。

目标函数

我们不仅要让经验风险最小化，同时还要让结构风险最小化。所以最终的目标函数为：

也就是说目标函数一般来说是经验风险+结构风险，也就是（代价函数+正则化项）。