机器学习常用的损失函数

在有监督学习中，损失函数刻画了模型的预测值与训练样本的匹配程度。令函数 $f:X\to Y$ 表示我们的机器学习模型，模型关于第 $i$ 个样本的输出为 $f(x_i)$，为了刻画模型的预测值与训练样本的匹配程度，定义损失函数 $J:Y\times Y\to R_{\ge 0}$，损失函数的值 $J(f(x_i),y_i))$ 越小，表示模型匹配的越好。

针对回归问题和分类问题，使用的损失函数会有所不同。

1 回归问题

1.1 均方差损失（Mean Squared Error Loss, MSE）/ L2 损失

均方差损失是回归任务中最常用的一种损失函数，也称为 L2 Loss，其基本形式为：

$$J_{MSE}=\frac{1}{N}\sum _{i=1}^N(y_i-f(x_i){)}^2$$

1.1.1 原理

均方差损失函数假设模型的预测值于真实值之间的误差服从 标准的正态分布（$\mu =0,\sigma =1$），则给定一个输入 $x_i$，模型输出真实值 $y_i$ 的概率为：

$$p(y_i|x_i)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{(y_i-f(x_i){)}^2}{2})$$

假设数据集中的 $N$ 个样本点互相独立，根据条件独立性假设，则给定所有输入样本 $x_i$，输出所有真实值 $y$ 的概率，即似然（Likelihood），为所有 $p(y_i|x_i)$ 的累积：

$$\begin{array}{rl}L(x,y)& =\prod _{i=1}^{N}p(y_i|x_i)\\ & =\prod _{i=1}^N\frac{1}{\sqrt{2\pi }}\exp (-\frac{(y_i-f(x_i){)}^2}{2})\end{array}$$

为了方便计算，对上式取对数，则它的对数似然（Log Likelihood, LL）为：

$$\begin{array}{rl}LL(x,y)& =\log (L(x,y))\\ & =-\frac{N}{2}\log 2\pi -\frac{1}{2}\sum _{i=1}^N(y_i-f(x_i){)}^2\end{array}$$

第一项与 $f(x_i)$ 无关可以去掉，因此，最终问题可以转化为最小化负对数似然（Negative Log Likelihood, NLL）：

$$NLL(x,y)=\frac{1}{2}\sum _{i=1}^N(y_i-f(x_i)$$