机器学习常见损失函数,经验/结构风险，参数和超参数

一、常用的损失函数

通常损失函数是一个非负实数函数，作用就是来量化模型预测和真是标签之间的差异，以下是几种常用的损失函数：
（1）0-1损失函数，很直观的表现了模型在训练集上的错误率，$0-1损失函数$表达式如下：
$$\mathfrak{L}(y,f(x,\theta ))=\{\begin{array}{ll}0& ify=f(\mathbf{x};\theta )\\ 1& ify\ne f(\mathbf{x};\theta )\end{array}\text{\hspace{1em}(式1)}$$
$$=I(y\ne f(\mathbf{x};\theta ))\text{\hspace{1em}(式2)}$$
其中$I(\cdot )$是指示函数。

从上面可以看到，尽管$0-1损失$函数可以很客观的评价模型的好坏，但是他的缺点也很明显：$0-1损失函数$不连续而且导数为零，难以进行优化。所以更常用的损失函数是连续可微的损失函数。
（2）平方损失函数,（Quadratic Loss Function）。平方损失函数经常使用在待预测的标签$y$为实数值的任务中，表达式如下：
$$\mathfrak{L}(y,f(x;\theta ))=\frac{1}{2}(y-f(\mathbf{x};\theta ){)}^2\text{\hspace{1em}(式3)}$$
平方损失函数不适合用在分类问题中，因为预测值和真实值都式离散型的，进行加减运算是没有意义的。
（3）交叉熵损失函数,（Cross-Entropy Loss Function）一般用于分类问题中。假设样本的标签$y\in$ { 1 , ⋯   , C } \{1,\cdots,C\} {1,⋯,C}为离散的类别，模型$f(x;\theta )\in [0,1{]}^c$的输出为类别标签的条件概率分布，即：
$$P(y=c|\mathbf{x};\theta )=f_c(\mathbf{x};\theta )\text{\hspace{1em}(式4)}$$
$f_c(x;\theta )$表示$f(x;\theta )$的输出向量的第$c$维。
而且，（式4）还满足：
$$f_c(\mathbf{x};\theta )\in [0,1],\sum _{i=1}^C{f}_c(\mathbf{x};\theta )=1\text{\hspace{1em}(式5)}$$
如果使用一个$c$维的one-hot 向量$\mathbf{y}$来表示样本标签. 假设样本的标签为$k$，那么标签向量$blodsymboly$只有第𝑘 维的值为1，其余元素的值都为0. 标签向量$blodsymboly$ 可以看作是样本标签的真实概率分布，即第$c$ 维（记为$y_c,1\le c\le C$）是类别为$c$ 的真实概率. 假设样本的类别为$k$，那么它属于第$k$ 类的概率为1，其他类的概率为0.

对于两个概率分布，可以使用交叉熵来衡量它们之间的差异。标签的真实分布𝒚和模型的预测分布$f(x;\theta )$之间的交叉熵为:
$$\mathfrak{L}(\mathbf{y},f(\mathbf{x};\theta ))=-{\mathbf{y}}^{T}logf(\mathbf{x};\theta )\text{\hspace{1em}(式6)}$$
$$=-\sum _{c=1}^C{\mathbf{y}}_{c}log{f}_c(\mathbf{x};\theta )\text{\hspace{1em}(式7)}$$

比如对于三分类问题，一个样本的标签向量为$\mathbf{y}=[0,0,1{]}^T$，模型预测的标签分布为𝑓(𝒙; 𝜃) = $[0.3,0.3,0.4{]}^T$，则它们的交叉熵为$-(0\times log(0.3)+0\times log(0.3)+1\times log(0.4))=-log(0.4)$.因为$\mathbf{y}$为one-hot 向量，（式7） 也可以写为：
$$\mathfrak{L}(y,f(\mathbf{x};\theta ))=-log{f}_y(\mathbf{x};\theta )\text{\hspace{1em}(式8)}$$
其中$f_y(\mathbf{x};\theta )$可以看作真实类别𝑦 的似然函数. 因此，交叉熵损失函数也就是负对数似然函数（Negative Log-Likelihood）.
（4）**Hinge损失函数，对于二分类问题，假设$y$的取值为 { − 1 , + 1 } , f ( x ; θ ∈ R ) \{-1,+1\},f(\boldsymbol{x};\theta\in\mathbb{R}) {−1,+1},f(x;θ∈R)，则$Hinge$损失函数为:
$$\mathfrak{L}(y,f(\mathbf{x};\theta ))=max(0,1-yf(\mathbf{x};\theta ))\text{\hspace{1em}(式9)}$$
$${=}^{\Delta }[1-yf(\mathbf{x};\theta ){]}_{+}\text{\hspace{1em}(式10)}$$
其中，$[x{]}_{+}=max(0,x)$。

二、经验风险最小化和结构风险最小化

（1）经验风险，经验风险也叫做经验错误。即在训练集 D = { ( x n , y ( n ) ) } n = 1 N {D}=\{(\boldsymbol{x}^{n},y^{(n)})\}_{n=1}^{N} D={(xn,y(n))}n=1N​上的平均损失：
$${\mathcal{R}}_D^{emp}(\theta )=\frac{1}{N}\sum _{n=1}^N\mathfrak{L}(y^{(n)},f({\mathbf{x}}^{(n)};\theta ))\text{\hspace{1em}(式11)}$$
所以，我们要做的就是找到一组参数${\theta }^{\ast }$使得经验风险最小，即
$${\theta }^{\ast }=argmi{n}_{\theta }{\mathcal{R}}_D^{emp}(\theta )\text{\hspace{1em}(式12)}$$
这个就是经验风险最小化（ERM）。

其中，经验风险最小化原则容易导致模型在训练集上错误率很低，但是在未知数据上错误率很高，这就是过拟合现象。
（2）结构风险，为了解决过拟合问题，在经验风险最小化的基础上引入参数的正则化来限制模型的能力，让其不要过度的最小化经验风险。这就是结构风险最小化（SRM）
$${\theta }^{\ast }=argmi{n}_{\theta }{\mathcal{R}}_D^{emp}(\theta )\text{\hspace{1em}(13)}$$
$$=argmi{n}_{\theta }{\mathcal{R}}_D^{emp}(\theta )+\frac{1}{2}\lambda {||\theta ||}^2\text{\hspace{1em}(式14)}$$
$$=argmi{n}_{\theta }\frac{1}{N}\sum _{n=1}^N\mathfrak{L}(y^{(n)},f({\mathbf{x}}^{(n)},\theta ))+\frac{1}{2}\lambda {||\theta ||}^2\text{\hspace{1em}(式15)}$$
其中，$\Vert \theta \Vert$为${\ell }_2$范数的正则化项，用来减少参数空间，避免过拟合；$\lambda$用来控制正则化的强度。

三、参数和超参数

在机器学习中，优化又可以分为参数优化和超参数优化。常见的模型$f(\mathbf{x};\theta )$中的$\theta$称为模型的参数，可以通过优化算法进行学习。除了可以学习的参数$\theta$之外，还有一类参数是用来定义模型的结构或者优化策略或者控制模型的动作状态的，这一类参数叫做超参数。

常见的超参数包括：聚类算法中的类别个数、梯度下降法中的步长、正则化项的系数、神经网络的层数、支持向量机中的核函数等. 超参数的选取一般都是组合优化问题，很难通过优化算法来自动学习. 因此，超参数优化是机器学习的一个经验性很强的技术，通常是按照人的经验设定，或者通过搜索的方法对一组超参数组合进行不断试错调整.