NNDL 作业2

 一、平方损失函数

平方损失函数（squared loss function），一种常用的损失函数，用于衡量预测值与真实值之间的误差。在机器学习中，我们用损失函数来评估模型的性能，帮助我们在训练模型时优化参数。平方损失函数是最小化均方误差（mean squared error, MSE）的一种方法。均方误差（MSE）的计算公式为：
                                                      MSE = (1/n) * Σ(y_i - ŷ_i)^2
其中 n 是样本数量，y_i 是真实值，ŷ_i 是预测值。MSE 的值越小，表示预测值与真实值之间的误差越小，模型的性能越好。为了求解 MSE 的最小值，我们可以对预测值 ŷ_i 求导数并令其为零，得到：
                                                      d(MSE)/d(ŷ_i) = 2(y_i - ŷ_i) = 0
解得：ŷ_i = y_i表明，当预测值等于真实值时，均方误差最小。因此，在训练模型时，我们通常使用平方损失函数来优化模型参数，使预测值尽可能接近真实值。

二、平方损失函数为什么不适用于分类问题

首先认识到，分类问题是指在机器学习中，将一组数据划分为不同类别或标签的问题。分类问题通常涉及到监督学习，即利用已有的标签来训练模型，然后使用训练好的模型对新的数据进行分类预测，通常是概率分布类型问题。

而平方损失函数在分类问题中不适用的主要原因是它的性质与分类问题的特点不符。
1.分类问题本质上是一个统计学问题，它需要根据特征数据对数据进行分类，分类问题通常涉及到概率分布，而平方损失函数并不能很好地表示概率。例如，在二分类问题中，我们通常使用 sigmoid（σ(x) = 1 / (1 + e^(-x))） 将模型的输出映射到概率分布。而平方损失函数的输出并不能直接解释为概率，因此它不适用于分类问题。
2.损失函数值没有上下界：对于特定的分类问题，平方损失有界。然而，分类问题中的标签是没有连续的概念的，每个标签之间的距离也没有实际意义。这意味着平方损失函数不能很好地反映模型的误差程度。

三、交叉熵损失函数

交叉熵损失函数（Cross Entropy Loss Function），一种常用的损失函数，主要应用于多分类问题。它衡量了模型预测概率分布与真实概率分布之间的差异。交叉熵损失函数的计算公式如下：

                                                       L = -Σ [y_true* log(y_pred)]
其中，y_true 表示真实概率分布，y_pred 表示模型预测的概率分布。这个公式可以理解为 - log(y_true * y_pred)，其中 y_true * y_pred 表示真实概率分布与模型预测概率分布的乘积。
交叉熵损失函数的值越小，说明模型预测的概率分布越接近真实概率分布，即模型的性能越好。在训练过程中，通过优化算法不断更新模型参数，使得模型的交叉熵损失函数值逐渐减小。

四、交叉熵损失函数为什么不适用于回归问题

在回归问题中，我们试图建立一个或多个自变量与一个因变量之间的关系。具体来说，给定一些输入特征值（如时间、温度等），我们希望预测一个连续的输出值（如股票价格、房价等）。
回归问题可以分为两类：简单回归和多元回归。简单回归只涉及一个自变量和一个因变量，而多元回归涉及多个自变量和一个因变量。回归问题的目标是找到一个最佳拟合函数，该函数能够尽可能地表示自变量与因变量之间的关系。在机器学习中，我们通常使用神经网络、线性回归等方法来解决回归问题。

交叉熵损失函数不太适用于回归问题，因为交叉熵损失函数衡量的是模型预测概率分布与真实概率分布之间的差异，而回归问题通常关注的是模型预测值与真实值之间的差距。另外，回归问题通常涉及连续的输出值，而多分类问题通常涉及离散的输出值。交叉熵损失函数在计算过程中涉及到对概率分布进行取对数运算，这就对计算也给足了考验。
 

五、分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。

精确率：正确分类的样本数与总分类为正的样本数之比。即 P = TP / (TP + FP)，它衡量的是模型预测为正的样本中，实际为正的样本的比例。

召回率：正确分类的样本数与总分类为正的样本数之比。即 R = TP / (TP + FN)，它衡量的是实际为正的样本中，模型预测为正的样本的比例。

F1值：精确率和召回率的调和平均值，即 F1 = 2 * P * R / (P + R)

宏平均：对所有类别的精确率、召回率和 F1 值分别计算平均值。

微平均：对所有类别的精确率、召回率和 F1 值分别计算，然后对这些值再取平均。

真实标签 1 1 2 2 2 3 3 3 3 

预测标签 1 2 2 2 3 3 3 1 2

混淆矩阵示例图

计算结果：

精确率：P = TP / (TP + FP)

         P1：1/2

         P2：1/2

         P3：2/3

召回率：R = TP / (TP + FN)

         R1：1/2

         R2：2/3

         R3：1/2

F1值： F1 = 2 * P * R / (P + R)

         F1：1/2

         F2：4/7

         F3：4/7

宏平均

         P(宏)-((P1+P2+P3)/3)：5/9

         R(宏)-((R1+R2+R3)/3)：5/9

         F1(宏)-(2*P(宏)*R(宏)/(P(宏)+R(宏)))：5/9

微平均

         P(微)-((TP1+TP2+TP3)/(TP1+TP2+TP3+FP1+FP2+FP3))：5/9

         R(微)-((TP1+TP2+TP3)/(TP1+TP2+TP3+FN1+FN2+FN3))：5/9

         F1(微)-(2*P(微)*R(微)/(P(微)+R(微)))：5/9