loss function & cost function & objective function

1. 中文翻译

• loss function： 损失函数
• cost function：代价函数
• objective function：目标函数

2. 解释

如果有个函数，我们想对其求极大值或者极小值，通常会将这个函数称为 Objective function。
目标函数是优化问题中的一个概念。任何一个优化问题包括两个部分：(1)目标函数，最终是要最大化或者最小化这个函数；(2)约束条件，且约束条件是可选的。

当我们是想求极小值时，便会以 cost function （loss function）来称呼该目标函数

• Cost function 常被用来求最优化问题；而 Loss function 常在参数估计中使用
• Loss function 通常是针对单个训练样本而言；Cost Function 通常是针对整个训练集的总损失

3. 举例

以 linear regression 为例：

objective function： $argmi{n}_{b}J(b_0,b_1)$

4. 总结

• 损失函数/代价函数是对模型或者算法的准确性的最直接的描述
• 目标函数则是损失函数/代价函数的递进，目标函数考虑的可能不仅仅有模型算法的准确性，还可能要考虑模型的复杂度，可解释度等等的问题（在损失函数的基础之上加上各种正则项）

三者之间的关系： A loss function is a part of a cost function which is a type of an objective function

1. 目标函数是损失函数
   最小二乘拟合：给定一组的样本点，求一条直线去拟合这些样本点
   $$argmi{n}_{\beta }\sum ({\beta }^T{x}_i-y_i{)}^2$$
2. 目标函数但大于损失函数
   脊回归 ：类似于最小二乘拟合，不过脊回归假设参数足够简单。此时需要对β做正则化处理。
   $$argmi{n}_{\beta }\sum ({\beta }^T{x}_i-y_i{)}^2+\gamma {\beta }^T\beta$$
3. 目标函数但没有损失函数
   极大似然估计：硬币正面的概率是 p，反面的概率是 (1−p)。将这枚硬币抛了100次后，要使42次正面向上，58次反面向上最大，求 p
   a r g m a x p { p 42 ( 1 − p ) 58 } argmax_p\{p^{42}(1-p)^{58}\} argmaxp​{p42(1−p)58}