泛统计理论初探——常见损失函数初探

数据挖掘-常见损失函数初探

常见损失函数简介
在之前的文章中，我们介绍过各种计算准确率的指标，在本文中我们将会介绍常见的损失函数并做出比较，讨论使用的场景和各个损失函数的优缺点。
首先我们来认识损失函数，常见的有监督数据挖掘问题无外乎两类，即分类问题和回归问题，即因变量是离散值或连续值。目标是寻找一种函数或者说是规则去最大程度的逼近或是预测原有的数据分布和结果，因此我们需要引入损失函数，损失函数是当前所有真实数据与预测结果的差值的汇总，即我们需要一个函数去体现预测效果，这个函数就是损失函数。而大多数有监督学习都是靠着最小化损失函数来进行参数的求解的，比如回归问题的参数向量就是最小化损失函数（平方差之和）来进行求解的。
其次我们要清楚，对于分类问题和回归问题，它们的损失函数是不同的。回归问题由于预测值和因变量真实值都是连续的，所以直接计算它们的差值的绝对值再求和，或是计算它们的差值的平方和再求和，即利用“距离”进行构建损失函数。而对于分类问题，由于预测的结果是离散的分类值，不能直接加减，所以我们需要使用交叉熵作为损失函数。在构建了损失函数后，上面的两种情况都是可以对参数向量进行求导，令损失函数最小化后可以得到最终的迭代后的参数。

除了上述的平方损失函数和交叉熵损失函数之外，还有一些比较常见的损失函数，比如铰链损失函数、0-1损失函数等。它们的形式如下所示，左边的是0-1损失函数的公式、右边的是铰链损失函数的公式，其中值得注意的是0-1损失函数是分类问题中最早期的损失函数&#x