NNDL 作业1：第二章课后题

笼子里的薛定谔

已于 2022-09-15 00:25:07 修改

阅读量566

点赞数 2

分类专栏： DL实验文章标签：深度学习人工智能

于 2022-09-14 23:58:58 首次发布

本文链接：https://blog.csdn.net/liuzi_hang/article/details/126861702

版权

DL实验专栏收录该内容

28 篇文章 3 订阅

订阅专栏

习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.

平方损失函数(MSE)表达式：

$MSE=\frac{1}{2n} \sum_{i=1}^{n}\left ( y-y' \right )^{2}$
交叉熵损失函数(CrossEntropyLoss)表达式：
$Loss=-\sum_{i=1}^{n}p(x_{i})log(q(x_{i}))$
1.交叉熵的由来
交叉熵最早可以追溯到上学期学习信息论知识，交叉熵是信息论中的一个重要概念，主要用于度量衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异,是从相对熵(KL散度)推导而来,如下：

p(x)分布的信息熵为：

$H_{pp}(X)=-\sum_{i=1}^{n}p(x_{i})log(p(x{_{i}}))$

q(x)分布的信息熵为：

$H{_{pq}}(X)=-\sum_{i=1}^{n}p(x_{i})log(q(x{_{i}}))$

相对熵为：

$H_{pq}(X)-H_{pp}(X)$

p(x)为样本真实分布，q(x)为预测分布

因而相对熵(KL散度)公式：
$D_{KL} \left (p||q \right ) = \sum_{i=1}^{n}p(x_{i})log(p(x_{i}))-\sum_{i=1}^{n}p(x_{i})log(q(x_{i}))=\sum_{i=1}^{n}p(x_{i})log(\frac{p(x_{i})}{q(x_{i})})$
KL散度越小，表示P(x) 与Q(x)的分布更加接近，可以通过反复训练Q (x)来使Q (x) 的分布逼近P(x)。
我们观察可以看出，这里与相对熵（KL散度）较为相似，我认为交叉熵为相对熵（KL散度）的变体，由于我们进行模型训练，有监督训练，样本标签已经确定，相当于真实的概率的分布P(x)已经得知，因此这边的 $H(X)=-\sum_{i=1}^{n}p(x_{i})log(p(x{_{i}}))$ 为固定值，相当于常量。

因而在我们模型训练中：

$D_{KL}(p||q)=\sum_{i=1}^{n}p(x_{i})log(p(x{_{i}}))-\sum_{i=1}^{n}p(x_{i})log(q(x{_{i}}))$

相对熵（KL散度）变为：

$D_{KL}(p||q)=constant-\sum_{i=1}^{n}p(x_{i})log(q(x{_{i}}))$

对于其做为损失函数，常量可以忽略，因此得到了交叉熵的表现形式。
2.分析交叉熵损失函数不适用于回归问题：由上式可以看出交叉熵损失函数只和分类正确的预测结果有关。而平方损失函数还和错误的分类有关，该损失函数除了让正确分类尽量变大，还会让错误分类都变得更加平均，但实际中后面的这个调整使没必要的。但是对于回归问题这样的考虑就显得重要了，因而回归问题上使用交叉熵损失函数并不适合。

3.分析平方损失函数不适用于分类问题：首先我们要明确分类问题的概念：在二分类问题中
y={+1, -1}, 在C分类问题中y={1, 2, 3, …, C}。可以看出分类问题输出的结果为离散的值。
在邱锡鹏老师的问题讨论区里，有这样一段话，我觉得很恰当：
分类问题中的标签，是没有连续的概念的。每个标签之间的距离也是没有实际意义的，所以预测值和标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。比如分类 1,2,3, 真实分类是1, 而被分类到2和3错误程度应该是一样的,但是明显当我们预测到2的时候是损失函数的值为1/2而预测到3的时候损失函数为2，这里在相同的结果下却给出了不同的值，这对我们优化参数产生了误导，因而分类问题我们一般采取交叉熵损失函数（Cross-Entropy Loss Function）来进行评估，只关注分类正确的预测结果有关，交叉熵的值越小，模型预测效果就越好。
注：交叉熵经常搭配softmax使用，将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。

4.这里介绍下pytorch包装好的nn.CrossEntropyLoss()函数。
在pytorch中nn.CrossEntropyLoss()为交叉熵损失函数，用于解决多分类问题，也可用于解决二分类问题。在使用nn.CrossEntropyLoss()其内部会自动加上Sofrmax层
nn.CrossEntropyLoss()中的计算公式如下：
$loss(x, class)=-log(\frac{e^{x[class]}}{\sum _{i}e^{x[i]}})=-x[class]+log(\sum _{i}e^{x[i]})$
其中， log以e为底，nn.CrossEntropyLoss(x, lable)有两个参数

第一个参数：x为输入也是网络的最后一层的输出，其shape为[batchsize,class]（函数要求第一个参数，也就是最后一层的输出为二维数据，每个向量中的值为不同种类的概率值），如果batchsize大于1，那么求对应的均值。
第二个参数：是传入的标签，也就是某个类别的索引值，再上面公式没有参与计算。

nn.BCELoss()为二元交叉熵损失函数，BCELoss是Binary CrossEntropyLoss的缩写，只能解决二分类问题。在使用nn.BCELoss()作为损失函数时，需要在该层前面加上Sigmoid函数，一般使用nn.Sigmoid()即可。

习题 2-12 对于一个三分类问题，数据集的真实标签和模型的预测标签如下：

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均．

格式要求：使用公式编辑器，在博客上正确书写公式。

首先上一张图示：

精确率：

$P_{1}=\frac{TP_{1}}{TP_{1}+FP_{1}}=\frac{1}{1+1}=\frac{1}{2}$

$P_{2}=\frac{TP_{2}}{TP_{2}+FP_{2}}=\frac{2}{2+2}=\frac{1}{2}$

$P_{3}=\frac{TP_{3}}{TP_{3}+FP_{3}}=\frac{2}{2+1}=\frac{2}{3}$

召回率：

$R_{1}=\frac{TP_{1}}{TP_{1}+FN_{1}}=\frac{1}{1+1}=\frac{1}{2}$

$R_{2}=\frac{TP_{2}}{TP_{2}+FN_{2}}=\frac{2}{2+1}=\frac{2}{3}$

$R_{3}=\frac{TP_{3}}{TP_{3}+FN_{3}}=\frac{2}{2+2}=\frac{1}{2}$

F值：

$F_{1}=\frac{(1+\beta ^{2})\times P_{1}\times R_{1}}{\beta ^{2}\times P_{1}+R_{1}}=\frac{2\times\frac{1}{2}\fac{1}{2}}{1\times\frac{1}{2}+\frac{1}{2}}=\frac{1}{2}$

$F_{2}=\frac{(1+\beta ^{2})\times P_{2}\times R_{2}}{\beta ^{2}\times P_{2}+R_{2}}=\frac{2*\frac{1}{2}*\frac{2}{3}}{1*\frac{1}{2}+\frac{2}{3}}=\frac{4}{7}$

$F_{3}=\frac{(1+\beta ^{2})\times P_{3}\times R_{3}}{\beta ^{2}\times P_{3}+R_{3}}=\frac{2*\frac{2}{3}*\frac{1}{2}}{1*\frac{2}{3}+\frac{1}{2}}=\frac{4}{7}$

宏平均：
宏查准率：
$P_{macro}=\frac{1}{n}\sum_{i=1}^{n}P_{i}=\frac{1}{3}*(\frac{1}{2}+\frac{1}{2}+\frac{2}{3})=\frac{5}{9}$
宏查全率：

$R_{macro}=\frac{1}{n}\sum_{i=1}^{n}R_{i}=\frac{1}{3}*(\frac{1}{2}+\frac{2}{3}+\frac{1}{2})=\frac{5}{9}$
宏F1:
$F1_{macro}=\frac{2*P_{macro}*R_{macro}} {P_{macro}+R_{macro}}=\frac{2*\frac{5}{9}*\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$