损失函数最小化机器学习的“目标函数”,它是模型评估的重要指标
损失函数一般分为回归问题和分类问题
回归问题最常用的是均方误差(MSE)和平均绝对误差(MAE)
MAE梯度自始至终是一样的,当损失接近0时,MSE梯度下降
MSE对离群点赋予更多的权值,MAE比MSE对异常值更加稳健
分类问题最常用的是交叉熵损失
熵是衡量事件包含信息量的大小,交叉熵是衡量两个概率分布差异的大小
机器学习,是指在给定任务(T)下,对数据集(D)做一定特征工程(F)后建立相应的模型(M),并通过模型评估(E)来评价模型好坏。
机器学习的模型评估,主要包括两部分:
评估方法
性能度量
损失函数是性能度量的一个部分,而损失函数又分很多种,因此单独作为一篇介绍损失函数。
机器学习中的所有算法都依赖于最小化或最大化一个函数,我们称之为“目标函数”。最小化的函数称为“损失函数”,损失函数衡量的是模型预测预期结果的能力。通常情况下,损失函数分为二类:回归问题和分类问题。
1.回归问题
回归问题损失函数主要有:均方误差、绝对平均误差、Huber损失、Log-Cosh损失和分位数损失。其中最重要的的是均方误差和绝对平均误差。下面重点介绍。
均方误差(MSE)也称二次损失或L2损失,它是最常用的回归损失函数,MSE是目标变量和预测值之间距离的平方和:
平均绝对误差(MAE)也称L1损失,是目标值和预测值之间绝对差的总和的平均值: