NNDL 作业2

最新推荐文章于 2025-03-01 23:15:20 发布

szf03

最新推荐文章于 2025-03-01 23:15:20 发布

阅读量100

点赞数 3

文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/m0_62584837/article/details/133246275

版权

第二章课后题

习题2-1 分析为什么平方损失函数不适用于分类问题，交叉熵损失函数不适用于回归问题。

1.什么是平方损失函数？

平方损失函数为： $L(y,f(x))=\frac{1}{2}(y-f(x))^{2}$ ，计算的是真实值y与预测值f(X)的平方差，计算的是两者之间的差距，非负的对称，连续可导。

2.什么是交叉熵损失函数？

交叉熵损失函数为 $H(p,q)=-\sum_{i=1}^{n}p(x_{i})log(q(x_{i}))$ ,交叉熵用于度量两个概率分布之间的差异性，在二分类损失函数中 $L=-\left [ ylog\widehat{y}+(1-y)log(1-\widehat{y}) \right ]$ ,展示真实的概率分布与预测概率分布之间的差异。

3.为什么平方损失函数不适用于分类任务？

首先明确分类任务是在多分类任务中 $y=\left \{ 1,2,3,...n \right \}$ 可以看出来分类问题是输出结果是离散的。分类任务是对离散值进行预测，比如是或者不是，或者说是属于哪一类，平方损失函数是以预测值为均值的高斯分布。损失函数是在这个情况下真实值的似然估计，softmax损失意味着真实标签的似然度，分类任务中每个标签之间的距离是没有实际意义的，预测值和标签两个向量之间的平方差不能反映分类问题的优化程度。

使用平方损失函数以为默认数据服从正态分布，显然二分类任务服从伯努利分布，假设样本为 $\left \{ +1,-1 \right \}$ ,因此当 $y_{_{i}}f(x;w)>0$ ,分类正确，对于二分类又可以改写成 $(1-yf(x;w))^{^{2}}$

这是凹函数，不能保证最小化。

4.为什么交叉熵损失函数不适用于回归任务？

回归任务是对连续值进行预测（如值为多少），交叉熵损失函数只针对于分类正确的结果，回归任务中需要考虑错误的，需要让回归中的函数满足所有的样本，交叉熵损失函数中的y表示真实值，0或者1，只有两个取值， $\widehat{y}$ 代表预测值/估计值，取值范围为0~1，让正确类变大，错误分类平均。而且计算时无需知道相邻像素是否为边界，因此不适用于回归任务。