NNDL 作业1：第二章课后题

萐茀37

已于 2022-09-17 22:51:05 修改

阅读量87

点赞数 1

文章标签：深度学习

于 2022-09-17 21:55:08 首次发布

本文链接：https://blog.csdn.net/qq_56829032/article/details/126910629

版权

习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题。

损失函数的定义

损失函数是一个非负实数，用来量化模型预测和真实标签之间的差异。我们一般会用损失函数来进行参数的优化，当构建了不连续离散导数为0的函数时，这对模型不能很好地评估。

平方损失函数

平方损失函数经常用在预测标签y ，y为实数值的任务中，定义为：

$MSE=\frac{1}{2m}\sum_{i=1}^{m}(y-{y}')^{2}$

分类问题中的标签，是没有连续的概念的。每个标签之间的距离也是没有实际意义的，所以预测值和标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。所以分类问题我们一般采取交叉熵损失函数（Cross-Entropy Loss Function）来进行评估。

交叉熵损失函数

交叉熵损失函数定义为：

$Loss=-\sum_{i=1}^{n}p(x_{i})log(q(x_{i}))$

交叉熵损失函数只和分类正确的预测结果有关。而平方损失函数还和错误的分类有关，该损失函数除了让正确分类尽量变大，还会让错误分类都变得更加平均，但实际中后面的这个调整使没必要的。但是对于回归问题这样的考虑就显得重要了，因而回归问题上使用交叉熵损失函数并不适合。

习题 2-12 对于一个三分类问题，数据集的真实标签和模型的预测标签如下：

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均．
格式要求：使用公式编辑器，在博客上正确书写公式。

混淆矩阵：

精确率:

$P_{1}=\frac{TP_{1}}{TP_{1}+FP_{1}}=\frac{1}{1+1}=\frac{1}{2}$

$P_{1}=\frac{TP_{2}}{TP_{2}+FP_{2}}=\frac{2}{2+2}=\frac{1}{2}$

$P_{3}=\frac{TP_{3}}{TP_{3}+FP_{3}}=\frac{2}{2+1}=\frac{2}{3}$

召回率：
$R_{1}=\frac{TP_{1}}{TP_{1}+FN_{1}}=\frac{1}{1+1}=\frac{1}{2}$

$R_{2}=\frac{TP_{2}}{TP_{2}+FN_{2}}=\frac{2}{2+1}=\frac{2}{3}$

$R_{3}=\frac{TP_{3}}{TP_{3}+FN_{3}}=\frac{2}{2+2}=\frac{1}{2}$

F值：

$F_{1}=\frac{(1+\beta ^{2})*P_{1}*R_{1}}{\beta ^{2}*P_{1}+R_{1}}=\frac{2*\frac{1}{2}*\frac{1}{2}}{1*\frac{1}{2}+\frac{1}{2}}=\frac{1}{2}$

$F_{2}=\frac{(1+\beta ^{2})*P_{2}*R_{2}}{\beta ^{2}*P_{2}+R_{2}}=\frac{2*\frac{1}{2}*\frac{2}{3}}{1*\frac{1}{2}+\frac{2}{3}}=\frac{4}{7}$

$F_{3}=\frac{(1+\beta ^{2})*P_{3}*R_{3}}{\beta ^{2}*P_{3}+R_{3}}=\frac{2*\frac{2}{3}*\frac{1}{2}}{1*\frac{2}{3}+\frac{1}{2}}=\frac{4}{7}$

宏平均：
宏查准率：

$P_{macro}=\frac{1}{n}\sum_{i=1}^{n}P_{i}=\frac{1}{3}*(\frac{1}{2}+\frac{1}{2}+\frac{2}{3})=\frac{5}{9}$

宏查全率：

$R_{macro}=\frac{1}{n}\sum_{i=1}^{n}R_{i}=\frac{1}{3}*(\frac{1}{2}+\frac{2}{3}+\frac{1}{2})=\frac{5}{9}$

宏F1：

$F1_{macro}=\frac{2*P_{macro}*R_{macro}}{P_{macro}+R_{macro}}=\frac{2*\frac{5}{9}*\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$

微平均：

$P_{macro^{}}=\frac{\sum_{i=1}^{n}TP_{i}}{\sum_{i=1}^{n}TP_{i}+\sum_{i=1}^{n}FP_{i}}=\frac{1+2+2}{(1+2+2)+(1+2+1)}=\frac{5}{9}$

$R_{macro^{}}=\frac{\sum_{i=1}^{n}TP_{i}}{\sum_{i=1}^{n}TP_{i}+\sum_{i=1}^{n}FN_{i}}=\frac{1+2+2}{(1+2+2)+(1+1+2)}=\frac{5}{9}$

$F_{micro}=\frac{2*P_{micro}*R_{micro}}{P_{micro}+R_{mairo}}=\frac{2*\frac{5}{8}*\frac{5}{9}}{\frac{5}{8}+\frac{5}{9}}=\frac{5}{9}$

总结：学会了为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题和如何计算模型的精确率、召回率、F1值以及它们的宏平均和微平均，并且学会了如何使用CSDN的插入公式。（由于使用不熟练编辑了好久，以后继续练习）

关注