机器学习之模型评估（损失函数）

• 损失函数最小化机器学习的“目标函数”，它是模型评估的重要指标

• 损失函数一般分为回归问题和分类问题

• 回归问题最常用的是均方误差(MSE)和平均绝对误差(MAE)

• MAE梯度自始至终是一样的，当损失接近0时，MSE梯度下降
  

• MSE对离群点赋予更多的权值，MAE比MSE对异常值更加稳健

• 分类问题最常用的是交叉熵损失

• 熵是衡量事件包含信息量的大小，交叉熵是衡量两个概率分布差异的大小
  

机器学习，是指在给定任务(T）下，对数据集(D)做一定特征工程（F）后建立相应的模型（M），并通过模型评估（E）来评价模型好坏。

机器学习的模型评估，主要包括两部分：

• 评估方法

• 性能度量

损失函数是性能度量的一个部分，而损失函数又分很多种，因此单独作为一篇介绍损失函数。

机器学习中的所有算法都依赖于最小化或最大化一个函数，我们称之为“目标函数”。最小化的函数称为“损失函数”，损失函数衡量的是模型预测预期结果的能力。通常情况下，损失函数分为二类：回归问题和分类问题。

1.回归问题

回归问题损失函数主要有：均方误差、绝对平均误差、Huber损失、Log-Cosh损失和分位数损失。其中最重要的的是均方误差和绝对平均误差。下面重点介绍。

均方误差（MSE）也称二次损失或L2损失，它是最常用的回归损失函数，MSE是目标变量和预测值之间距离的平方和：

平均绝对误差（MAE）也称L1损失，是目标值和预测值之间绝对差的总和的平均值:

由于MSE平方了误差（y - y_predicted = e），若e大于1，误差（e࿰