小知识 | 谈谈 损失函数, 成本函数, 目标函数 的区别

阅读大概需要5分钟

跟随小博主，每天进步一丢丢

导读

在我刚开始学机器学习的时候也是闹不懂这三者的区别，当然，嘿嘿，初学者的你们是不是也有那么一丢丢迷茫呢？那么今天咱们就把这样的问题解决了！

损失函数

损失函数一般指的是针对单个样本 i 做的损失，公式可以表示为：

当然，只是举个例子，如果较真的话，还可以有交叉熵损失函数等。

成本函数

成本函数一般是数据集上总的成本函数，一般针对整体，根据上面的例子，这里的成本函数可以表示为

当然我们可以加上正则项

目标函数

目标函数是一个很广泛的称呼，我们一般都是先确定目标函数，然后再去优化它。比如在不同的任务中，目标函数可以是

• 最大化后验概率MAP(比如朴素贝叶斯)

• 最大化适应函数(遗传算法)

• 最大化回报/值函数（增强学习）

• 最大化信息增益/减小子节点纯度(CART 决策树分类器)

• 最小化平方差错误成本（或损失）函数（CART，决策树回归，线性回归，线性适应神经元）

• 最大化log-相似度或者最小化信息熵损失（或者成本）函数

• 最小化hinge损失函数（支持向量机SVM）

• etc.

References

忆臻 知乎回答

https://zhuanlan.zhihu.com/p/49323974

国外资料

https://www.quora.com/What-is-the-difference-between-a-cost-function-and-a-loss-function-in-machine-learning

---

因为最近微信改版改的比较频繁，很多小伙伴反应当天我是否发了文章，当然发了呀，只是你还没有星标这个公众号呀。我接下来讲继续持续的更新python，机器学习，深度学习，linux，基础数学以及自然语言处理的各种分类方法。如果不想错过，快点星标下呀！嘿嘿。还不知道怎么星标？那就看看下面的方法

IELTS a bit

agony n. 嫉妒痛苦

aisle n. 过道

commence v. 开始（某事物） 

推荐阅读：

一大批历史精彩文章啦

详解文本分类之多通道CNN的理论与实践

详解文本分类之DeepCNN的理论与实践

介绍4个大神常用而你不常用的python函数

资源 | 邓力、刘洋等合著的这本NLP经典书籍之情感分析中文版

资源 | 有没有必要把机器学习算法自己实现一遍？

---