损失函数、代价函数和目标函数的区别

损失函数：单个样本的误差 $$(y_i-f(x_i){)}^2$$

代价函数：所有样本的误差的平均值 $$\frac{1}{n}\sum _{i=1}^n(y_i-f(x_i){)}^2$$

目标函数：最优化经验风险和结构风险 $$\frac{1}{n}\sum _{i=1}^n(y_i-f(x_i){)}^2+\lambda J(f)$$

其中$\frac{1}{n}{\sum }_{i=1}^n(y_i-f(x_i){)}^2$是经验风险(等同于代价函数), $J(f)$是结构风险，专门用来度量模型的复杂度，在机器学习中也叫正则化(regularization)。常用的有 $L_1$, $L_2$范数。