目标函数、损失函数、代价函数

• 损失函数 (Loss function) ，是单个样例 $i$ 的损失/误差：

  $$|h_{\theta }(x^i)-y^i|$$

• 代价函数 (Cost function) ，是对数据集整体的误差描述，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果：

  $$\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

• 目标函数（Object Function），为了避免过拟合或者进行一些特殊目的约束（Constraint），一般会在代价函数的后面加上正则化项：

  $$\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+正则化项$$