损失函数、代价函数、目标函数、适应度函数的区别与联系

目标函数就是你希望得到的优化结果，比如函数最大值或者最小值。
代价函数 = 损失函数
损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，对于目标函数来说在有约束条件下的最小化就是损失函数（loss function）

损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。
代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。

关于目标函数和代价函数的区别还有一种通俗的区别：目标函数是最大化或者最小化，而代价函数是最小化
目标函数和损失函数的区别
常见的损失函数

---

适应度函数(Fitness Function)
是为了计算个体的适配值。适配值是非负的，而且要求适配值越大则该个体越优越。而目标函数则有正有负，它们之间关系多种多样，比如求最小值时，目标函数最小，则适配值越大，求最大值时目标值越大，适配值越大。
适应度函数的选取直接影响到遗传算法的收敛速度以及能否找到最优解,因为遗传算法在进化搜索中基本不利用外部信息,仅以适应度函数为依据,利用种群每个个体的适应度来进行搜索.因为适应度函数的复杂度是遗传算法复杂度的主要组成部分,所以适应度函数的设计应尽可能简单,使计算的时间复杂度最小