深度学习作业2

几度雨停393

已于 2023-12-31 10:57:49 修改

阅读量58

点赞数 3

文章标签：深度学习人工智能 python

于 2023-09-21 17:16:03 首次发布

本文链接：https://blog.csdn.net/qq_62572945/article/details/133132517

版权

1、分析为什么平方损失函数不适用于分类问题，交叉熵损失函数不适用于回归问题。

平均损失函数，定义为：

$\pounds (y,f(x; \theta ))=\tfrac{1}{2}(y-f(x;\theta ))^{2}$

平均损失函数，又称均方误差，计算的是真实值 $y$ 与预测值 $f(x;\theta )$ 之间的平方差，两者差距越大，损失越大。

原因如下：

分类问题中的标签，是没有连续的概念的。每个标签之间的距离也是没有实际意义的，所以预测值和标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。假设分类问题的类别是1,2,3 那么对于一个真实类别为2的样本X，模型的分类结果是 1 或 3，平方损失函数得到的结果都一样，显然不适合。且分类问题的函数不是凸函数，会陷入局部最小点，会对优化造成困难。

交叉熵损失函数：

$\pounds (y,f(x;\theta ))=-y^{T}logf(x;\theta ) =-\sum_{c=1}^{C}f_{c}(x;\theta )$

交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，通过比较分布概率大小来进行分类结果的判断。在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。

原因如下：

交叉熵损失函数只和分类正确的预测结果有关，但回归问题除了要让正确的分类尽量变大，还要让错误的分类变得平均。该分类函数除了让正确的分类尽量变大，还会让错误的分类变得平均，但实际在分类问题中这个调整是没有必要的，错误的分类不必处理。但是对于回归问题来说，这样的考虑就显得很重要了，回归的目标是输出预测值，而如果预测值有偏差，是一定要进行调整的。所以，回归问题使用交叉熵并不合适。

2、对于一个三分类问题，数据集的真实标签和模型的预测标签如下：

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均.

格式要求：使用公式编辑器，在博客上正确书写公式。

精确率

公式：

$P_{c}=\frac{TP_{c}}{TP_{c}+FP_{c}}$

计算：

$P_{1}=\frac{1}{1+1}=\frac{1}{2}$

$P_{2}=\frac{2}{2+2}=\frac{1}{2}$

$P_{3}=\frac{2}{2+1}=\frac{2}{3}$

召回率

公式：

$R_{c}=\frac{TP_{c}}{TP_{c}+FN_{c}}$

计算：

$R_{1}=\frac{1}{1+1}=\frac{1}{2}$

$R_{2}=\frac{2}{2+1}=\frac{2}{3}$

$R_{3}=\frac{2}{2+2}=\frac{1}{2}$

公式：

$F_{c}=\frac{(1+\beta ^{2})\times P_{c}\times R_{c}}{\beta ^{2}\times P_{c}+R_{c}}$

计算：

$F_{1}=\frac{(1+1 ^{2})\times \frac{1}{2}\times \frac{1}{2}}{1 ^{2}\times \frac{1}{2}+\frac{1}{2}}=\frac{1}{2}$

$F_{2}=\frac{(1+1 ^{2})\times \frac{1}{2}\times \frac{2}{3}}{1 ^{2}\times \frac{1}{2}+\frac{2}{3}}=\frac{4}{7}$

$F_{3}=\frac{(1+1 ^{2})\times \frac{2}{3}\times \frac{1}{2}}{1 ^{2}\times \frac{2}{3}+\frac{1}{2}}=\frac{4}{7}$

宏平均

宏平均准确率：

$P_{macro}=\frac{1}{C}\sum_{c=1}^{C}P_{c}=\frac{1}{3}\times (\frac{1}{2}+\frac{1}{2}+\frac{2}{3})=\frac{5}{9}$

宏平均召回率：

$P_{macro}=\frac{1}{C}\sum_{c=1}^{C}R_{c}=\frac{1}{3}\times (\frac{1}{2}+\frac{2}{3}+\frac{1}{2})=\frac{5}{9}$

宏平均F1分数：

$F1_{macro}=\frac{2\times P_{macro}\times R_{macro}}{P_{macro}+R_{macro}}=\frac{2\times \frac{5}{9}\times \frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$

微平均

$micro \, P=\frac{\sum_{i=1}^{n}TP_{i}} {\sum_{i=1}^{n}TP_{i}+\sum_{i=1}^{n}FP_{i}}=\frac{1+2+2}{(1+2+2)+(1+2+1)}=\frac{5}{9}$

$micro \, R=\frac{\sum_{i=1}^{n}TP_{i}} {\sum_{i=1}^{n}TP_{i}+\sum_{i=1}^{n}FN_{i}}=\frac{1+2+2}{(1+2+2)+(2+1+1)}=\frac{5}{9}$

$micro\, F1=\frac{2\times micro\, P\times micro\, R}{micro\, P+micro\, R}=\frac{2\times \frac{5}{9}\times \frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$

几度雨停393

关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
深度学习作业2

假设分类问题的类别是1,2,3 那么对于一个真实类别为2的样本X，模型的分类结果是 1 或 3，平方损失函数得到的结果都一样，显然不适合。该分类函数除了让正确的分类尽量变大，还会让错误的分类变得平均，但实际在分类问题中这个调整是没有必要的，错误的分类不必处理。但是对于回归问题来说，这样的考虑就显得很重要了，回归的目标是输出预测值，而如果预测值有偏差，是一定要进行调整的。交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，通过。
复制链接

扫一扫