代价函数与损失函数

代价函数(cost function)

为了得到训练逻辑回归模型的参数，需要一个代价函数，通过训练代价函数来得到参数。
在回归问题中，通过代价函数来求解最优解，常用的是平方误差代价函数。

常见代价函数

（1）二次代价函数（quadratic cost）
（2）交叉熵代价函数（cross-entropy）
（3）对数似然代价函数（log-likelihood cost）

损失函数(loss function)

损失函数（Loss Function）又叫做误差函数，用来衡量算法的运行情况，估量模型的预测值 与真实值的不一致程度，是一个非负实值函数，通常使用$ L(Y, f(x)) $来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。
机器学习通过对算法中的目标函数进行不断求解优化，得到最终想要的结果。分类和回归问题 中，通常使用损失函数或代价函数作为目标函数。 损失函数用来评价预测值和真实值不一样的程度。通常损失函数越好，模型的性能也越好。 损失函数可分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际 结果的差别，结构风险损失函数是在经验风险损失函数上加上正则项。

常用的损失函数

（1）0-1损失函数
（2）绝对值损失函数
（3）平方损失函数
（4）对数损失函数. 常见的逻辑回归使用的就是对数损失函数。逻辑回归推导出的经验风险函数是最小化负的似然函数，从损失函数的角度 看，就是对数损失函数。形式上等价于二分类的交叉熵损失函数。
（5）指数损失函数。 AdaBoost就是以指数损失函数为损失函数。
（6）Hinge损失函数。 主要用于支持向量机（SVM） 中。