loss function、error function、cost function有什么区别？

首先，loss function、error function是一回事，说得是同一个东西，中文中称之为 “损失函数”。

下面以线性模型的Logistic Regression回归为例说一下loss function、error function、cost function三者的关系：

通常情况下，损失函数的定义是酱紫的：

但是这种定义方式不推荐，因为会引起损失函数“非凸”，从而在优化的时候导致局部最优解的问题，建议使用下面的损失函数表达式：

以上就是损失函数的定义，也就是loss/error function的定义，再次强调一下：loss function、error function是一回事，说得是同一个东西，只不过用了两个不同的名字而已。

 

下面再来看一下成本函数，也就是cost function。

上面的Loss(error) function是针对单个训练样本定义出来的，它衡量了在单个训练样本上的表现，而成本函数(Cost funtion)是在全体的训练样本上的表现，它的表达式如下图所示：

如果将之前的Loss(error)函数代入进去就会得到下面的等式：

综上所述，成本函数的计算表达式是保持不变的，变的是其中的损失函数的表达式，但是最终的目的都是相同的——让J(ω, b)的取值最小，也就是损失降到最低。