NNDL 作业二 损失函数与评价指标

1.平方损失函数VS交叉熵损失函数

1.1平方损失函数（Mean Squared Error，MSE）

1.1.1什么是平方损失函数

平方损失函数是求一个样本的预测值与真实值差的平方，公式如下：
$$\pounds \left(y,f\left(x;\theta \right)\right)=\frac{1}{2}{\left(y-f\left(x;\theta \right)\right)}^2$$
式中，$f\left(x;\theta \right)$是模型的输出值，$y$是真实值。
在下图中，若绿色直线上的点为模型预测值，蓝点为模型真实值，则平方损失即为红色线段长度的平方。

1.1.2为什么平方损失函数适用于回归

平方损失函数适用于回归问题的原因是它能够衡量预测值与真实值之间的差异，并且对较大的差异进行更强烈的惩罚。在回归问题中，我们通常希望通过最小化预测值与真实值之间的差异来优化模型参数，使得预测值尽可能接近真实值。

以下是平方损失函数适用于回归问题的几个原因：

1. 连续数值的预测：回归问题的目标是预测连续数值，例如房价、销售额等。平方损失函数对预测值与真实值之间的差异进行平方，能够更好地衡量连续数值之间的差异。

2. 可微性：在回归问题中，平方损失函数是一个连续可导的函数，这使得我们可以使用梯度下降等优化算法来最小化损失函数，从而找到最优的模型参数。

3. 强调较大误差：平方损失函数对较大的预测误差进行更强烈的惩罚，这意味着模型会更加关注那些与真实值差异较大的样本，从而更有可能找到能够准确预测这些样本的模型。

总而言之，平方损失函数适用于回归问题，因为它能够衡量连续数值之间的差异，并且对较大的差异进行更强烈的惩罚，从而帮助优化回归模型的参数。

1.1.3为什么平方损失函数不适用于分类

平方损失函数不适用于分类问题的原因是它在分类任务中存在一些问题。

1. 非凸优化问题：由于分类问题的目标是预测离散的类别标签，而不是连续数值，平方损失函数的形状不符合分类问题的本质。在分类问题中，损失函数的形状通常是非凸的(如下图)，这会导致优化过程中存在多个局部最小值，使得模型难以找到全局最优解。
   

2. 梯度消失问题：平方损失函数对于预测值与真实值之间的差异较小时，梯度会变得非常小，这可能导致梯度下降等优化算法在训练过程中出现梯度消失的问题。这会导致模型收敛速度变慢，甚至无法收敛到合适的解。
   
   图中，对于分类问题，在平方损失函数中，当离最优值较近或较远时，梯度几乎都很小，此时，我们也无法判断是否达到了最优。

3. 非平衡类别问题：在分类问题中，类别之间可能存在不平衡的情况，即某个类别的样本数量远远多于其他类别。平方损失函数对所有样本的预测误差都进行平方惩罚，使其关注多数类别的样本，在预测时偏向多数类别，而对少数类别的预测效果较差。

1.2交叉熵损失函数（Cross Entropy Loss）

1.2.1什么是交叉熵损失函数

交叉熵主要用于度量同一个随机变量$\mathbf{x}$的标签的预测分布Q与真实分布P之间的差距，公式如下：
$$\pounds \left(\mathbf{y},f\left(\mathbf{x};\theta \right)\right)=-{\mathbf{y}}^{{}_T}\log f\left(\mathbf{x};\theta \right)$$ $$=-\sum _{c=1}^C{y}_c\log f_c\left(\mathbf{x};\theta \right)$$
式中，$\mathbf{y}$为随机变量$\mathbf{x}$的标签的真实分布，$f\left(\mathbf{x};\theta \right)$为随机变量$\mathbf{x}$的标签的预测分布。
不太好理解，那就来举个例子：

	篮球	足球	排球
真实分布	1	0	0
预测分布	0.8	0.1	0.1

在这个例子中，$\mathbf{x}$的标签的真实分布为（1，0，0），$\mathbf{x}$的标签的预测分布为（0.8，0.1，0.1）。
交叉熵：$\pounds \left(\mathbf{y},f\left(\mathbf{x};\theta \right)\right)=-\left(1\times \log 0.8+0\times \log 0.1+0\times \log 0.1\right)=0.0969$

	篮球	足球	排球
真实分布	1	0	0
预测分布	0.7	0.1	0.2

在这个例子中，$\mathbf{x}$的标签的真实分布为（1，0，0），$\mathbf{x}$的标签的预测分布为（0.7，0.1，0.2）。
交叉熵：$\pounds \left(\mathbf{y},f\left(\mathbf{x};\theta \right)\right)=-\left(1\times \log 0.7+0\times \log 0.1+0\times \log 0.2\right)=0.1549$

	篮球	足球	排球
真实分布	1	0	0
预测分布	0.3	0.6	0.1

在这个例子中，$\mathbf{x}$的标签的真实分布为（1，0，0），$\mathbf{x}$的标签的预测分布为（0.3，0.6，0.1）。
交叉熵：$\pounds \left(\mathbf{y},f\left(\mathbf{x};\theta \right)\right)=-\left(1\times \log 0.3+0\times \log 0.6+0\times \log 0.1\right)=0.5229$
从这三个例子中可以看出，预测分布越接近真实分布，交叉熵越小。
在下图中，若P为真实分布，Q为预测分布，若Q与P越接近，则交叉熵越小，模型越好。

1.2.2为什么交叉熵损失函数适用于分类

1. 度量合理性：交叉熵损失函数能够合理地度量两个概率分布之间的差异。在分类问题中，我们关心的是模型预测的类别分布与真实类别分布之间的差距。交叉熵能够度量这两个分布之间的差距，因此是一个很好的选择。
2. 梯度计算：交叉熵损失函数对于模型参数的梯度计算相对简化。其导数计算公式中包含了预测结果和真实标签之间的差异，可以更直接地指导参数的更新。相比之下，平方损失函数的导数计算涉及平方项，可能导致梯度消失或梯度爆炸的问题。
3. 稳定性：相对于其他损失函数（如平方损失），交叉熵损失函数在训练过程中更加稳定。这是因为交叉熵损失函数对预测概率的梯度在接近真实标签时变小，而在远离真实标签时变大，这使得训练过程更加稳定。

1.2.3为什么交叉熵损失函数不适用于回归

1. 输出值的范围：交叉熵损失函数的计算基于概率的概念，适用于输出值是概率分布的情况。然而，在回归问题中，输出值通常是连续的实数，不具备概率的解释。因此，交叉熵损失函数无法直接应用于回归问题。

2. 损失函数的形式：交叉熵损失函数的形式是基于分类问题的特点设计的，它对错误分类的样本给予较大的惩罚。而在回归问题中，我们通常更关注预测值与真实值之间的差异，而不是错误分类的概念。因此，回归问题一般不用交叉熵损失函数。

3. 梯度计算的问题：交叉熵损失函数对于模型参数的梯度计算相对简化，但在回归问题中，使用交叉熵损失函数可能导致梯度计算不稳定的问题。这是因为交叉熵损失函数的导数计算涉及对概率的求导，而回归问题中的输出值通常不是概率，可能导致梯度计算的不稳定性。

2.精准率、召回率、F1值、宏平均、微平均

对于一个三分类问题，数据集的真实标签和模型的预测标签如下：

真实标签	1	1	2	2	2	3	3	3	3
预测标签	1	2	2	2	3	3	3	1	2

分别计算模型的精准率、召回率、F1值以及他们的宏平均和微平均。

类别c的混淆矩阵

列出每个类别的混淆矩阵

2.1精确率

精确率，也叫查准率，类别$c$的查准率是所有预测为类别$c$的样本中预测正确的比例：$$P_c=\frac{T{P}_c}{T{P}_c+F{P}_c}$$
$$P_1=\frac{1}{1+0+1}=\frac{1}{2}$$
$$P_2=\frac{2}{1+2+1}=\frac{1}{2}$$
$$P_3=\frac{2}{0+1+2}=\frac{2}{3}$$

2.2召回率

精确率，也叫查准率，类别$c$的查准率是所有真实标签为类别$c$的样本中预测正确的比例：$$R_c=\frac{T{P}_c}{T{P}_c+F{N}_c}$$
$$R_1=\frac{1}{1+1+0}=\frac{1}{2}$$
$$R_2=\frac{2}{0+2+1}=\frac{2}{3}$$
$$R_3=\frac{2}{1+1+2}=\frac{1}{2}$$

2.3F值

F值是一个综合指标，为精确率和召回率的调和平均：
$$F_c=\frac{\left(1+{\beta }^2\right)\times P_c\times R_c}{{\beta }^2\times P_c+R_c}$$
其中$\beta$用于平衡精确率和召回率的重要性，当$\beta =1$时的值称为$F1$值，是精确率和召回率的调和平均。
$$F{1}_1=\frac{2\times \frac{1}{2}\times \frac{1}{2}}{\frac{1}{2}+\frac{1}{2}}=\frac{1}{2}$$
$$F{1}_2=\frac{2\times \frac{1}{2}\times \frac{2}{3}}{\frac{1}{2}+\frac{2}{3}}=\frac{4}{7}$$
$$F{1}_3=\frac{2\times \frac{2}{3}\times \frac{1}{2}}{\frac{2}{3}+\frac{1}{2}}=\frac{4}{7}$$

2.4宏平均

宏平均是每一类的性能指标的算术平均值：
$$P_{macro}=\frac{1}{C}\sum _{c=1}^C{P}_c=\frac{1}{3}\left(\frac{1}{2}+\frac{1}{2}+\frac{2}{3}\right)=\frac{5}{9}$$
$$R_{macro}=\frac{1}{C}\sum _{c=1}^C{R}_c=\frac{1}{3}\left(\frac{1}{2}+\frac{2}{3}+\frac{1}{2}\right)=\frac{5}{9}$$
$$F{1}_{macro}=\frac{2\times P_{macro}\times R_{macro}}{P_{macro}+R_{macro}}=\frac{2\times \frac{5}{9}\times \frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$$
宏平均的计算方式是对每个类别平等对待，不考虑类别之间的样本数量差异。这种方法适用于希望平等对待每个类别，关注每个类别的性能的情况。

2.5微平均

$$P_{micro}=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}=\frac{\frac{1+2+2}{3}}{\frac{1+2+2}{3}+\frac{1+2+1}{3}}=\frac{5}{9}$$
$$R_{micro}=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}=\frac{\frac{1+2+2}{3}}{\frac{1+2+2}{3}+\frac{1+1+2}{3}}=\frac{5}{9}$$
$$F{1}_{micro}=\frac{2\times P_{micro}\times R_{micro}}{P_{micro}+R_{micro}}=\frac{2\times \frac{5}{9}\times \frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$$
微平均的计算方式是将所有类别的预测结果和真实标签看作一个整体，不区分不同类别之间的差异。这种方法适用于类别之间的样本数量差异较大，或者希望更加关注整体性能而不是单个类别的性能的情况。