NNDL0作业1：第二章课后习题

NNDL 作业1：第二章课后习题

习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.
明确了解分类和回归。才能知道什么是合适，什么是不合适的。
首先明确分类和回归的区别
　 　  我认为的分类，是把一堆东西，分成好几堆东西，且每堆东西都有他正确的类别，分类的好坏，取决于正确的类别的数目的多少，而回归，则是要找出一个描述这堆东西的函数，使所有的东西都尽可能都用我这个函数描述出来，所以回归的好坏不仅仅取决于已经可以用我这个函数进行描述的东西，还取决于那些暂不能进行描述的东西。即还没预测好的样本
为什么平方损失函数不能用于分类问题
　  　  在做实验的时候，接触到了这个问题，通过查阅资料，自己已经掌握了许多，分类问题的结果是离散值，即我们语义上的"是"或"不是"，平方损失函数如果用于分类问题，分类正确的误差都是一样的，分类错误的误差都是一样，不具有距离的意义，并且平方损失误差还和预测结果错误的样本有联系，在分类问题中只关注分类正确的结果就好了。所以不适用于分类问题。

平方误差损失函数:
$f(x)=\frac{{\sum }_1^m(y-\hat{y}{)}^2}{2m}$

举个例子
现在要分类$Y$={$1,2,3$}，假设第一个样本属于$1$，而如果使用平方差损失函数的预测为$2$，那么误差为$\frac{1}{2}$,如果结果预测为3，那么误差为$2$。在分类问题中，预测为3和预测为2是等价的，代表的都是错误，并没距离的成分。所以平方误差不适合分类任务

为什么交叉熵损失函数不能用于回归问题。
　  通过交叉熵损失函数，我们可以看出交叉熵损失函数针对只分类正确的预测结果，和分类错误的预测结果没有联系，而分类任务中很少考虑分类错误的结果，主要考虑让正确的分类尽可能大。而在回归中，考虑错误的结果就很必要了，需要让回归的函数尽可能满足所有的样本包括错误的样本，所以交叉熵不适合回归。

交叉熵损失函数：
$f(x)=\frac{1}{N}{\sum }_i{\sum }_{j=1}^M{y}_{ij}log(p_{ij})$

【TensorFlow】TensorFlow从浅入深系列之六 – 教你深入理解经典损失函数（交叉熵、均方误差），这篇文章介绍了损失函数深度学习中的作用。通俗易懂。

交叉熵通常和softmax一起使用。

拓展：熵是什么？

上学期的信息论讲过。我们先来复习一下自信息的概念。对于事件集合 $X=${$x_1,x_2,x_3$}，其中某一事件 发生的概率为$p_i$，则自信息量定义为：
$I(x_i)=-log{p}_i$
熵，又叫平均自信息，数学定义如下：

$H(x)=E(I(x_i))=-{\sum }_{i=1}^n{p}_{i}log{p}_i$
从以下角度理解熵的概念

• 随机变量不确定性的大小
• 观测这个随机变量得到平均信息量的大小
• 确定这个随机变量取值所需的平均信息量大小
• 系统的凌乱程度

熵、交叉熵、kl散度的联系
kl散度=交叉熵-熵

熵 可以表示一个事件A的自信息量，也就是事件A包含多少信息

kl散度 可以用来表示从事件A的角度来看，事件B有多大的不同，适用于衡量ab之间的差异

交叉熵 可以从来表示从事件A的角度来看，如果描述事件B，适用于衡量不同事件B之间的差异。

对于不同的事件B，计算AB的kl散度时都同时需要减去事件A的熵，kl=交叉熵-熵(A) 因此比较不同B事件之间的差异，计算交叉熵和计算KL散度是等价的。

习题 2-12 对于一个三分类问题 ， 数据集的真实标签和模型的预测标签如下

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均．

格式要求：使用公式编辑器，在博客上正确书写公式。

精确率（Precision），也叫精度或查准率；

$P_c=\frac{T{P}_c}{T{P}_c+F{P}_c}$

$P1=\frac{T{P}_1}{T{P}_1+F{P}_1}=\frac{1}{1+1}=\frac{1}{2}$

$P2=\frac{T{P}_2}{T{P}_2+F{P}_2}=\frac{2}{2+2}=\frac{1}{2}$

$P3=\frac{T{P}_3}{T{P}_3+F{P}_3}=\frac{2}{2+1}=\frac{2}{3}$

召回率（Recall），也叫查全率

$R_c=\frac{T{P}_c}{T{P}_c+F{N}_c}$

$R_1=\frac{T{P}_1}{T{P}_1+F{N}_1}=\frac{1}{1+1}=\frac{1}{2}$

$R_2=\frac{T{P}_2}{T{P}_2+F{N}_2}=\frac{2}{2+1}=\frac{2}{3}$

$R_3=\frac{T{P}_3}{T{P}_3+F{N}_3}=\frac{2}{2+2}=\frac{1}{2}$

F值（F Measure）是一个综合指标，为精确率和召回率的调和平均

$F=\frac{(1+\beta )\ast P_c\ast R_c}{{\beta }^2\ast P_c+R_c}$

为了计算简便，令$\beta =1$

$F1=\frac{(1+\beta )\ast P_1\ast R_1}{{\beta }^2\ast P_1+R_1}=\frac{2\ast \frac{1}{2}\ast \frac{1}{2}}{1\ast \frac{1}{2}+\frac{1}{2}}=\frac{1}{2}$

$F2=\frac{(1+\beta )\ast P_2\ast R_2}{{\beta }^2\ast P_2+R_2}=\frac{2\ast \frac{1}{2}\ast \frac{2}{3}}{1\ast \frac{1}{2}+\frac{2}{3}}=\frac{4}{7}$

$F3=\frac{(1+\beta )\ast P_3\ast R_3}{{\beta }^3\ast P_3+R_3}=\frac{2\ast \frac{2}{3}\ast \frac{1}{2}}{1\ast \frac{2}{3}+\frac{1}{2}}=\frac{4}{7}$

宏平均（Macro-averging）是每一类的性能指标的算术平均值

宏查全率

$P_{macro}=\frac{1}{C}{\sum }_{c=1}^C{p}_c$

$P_{macro}=\frac{1}{C}{\sum }_{c=1}^C{p}_c=\frac{1}{2}+\frac{2}{3}=\frac{5}{9}$

宏查准率

$R_{macro}=\frac{1}{C}{\sum }_{c=1}^C{r}_c$

$R_{macro}=\frac{1}{C}{\sum }_{c=1}^C{r}_c=\frac{1}{3}\ast (\frac{1}{2}+\frac{1}{2}+\frac{2}{3})=\frac{5}{9}$

F1

$F{1}_{macro}=\frac{2\ast P_{macro}\ast R_{macro}}{{\beta }^2\ast P_{macro}+R_{macro}}$

$F{1}_{macro}=\frac{2\ast P_{macro}\ast R_{macro}}{{\beta }^2\ast P_{macro}+R_{macro}}=\frac{2\ast \frac{5}{9}\ast \frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$

微平均（Micro-averging）是每一个样本的性能指标的算术平均值．

$P_{micro}=\frac{{\sum }_{c=1}^{C}T{P}_c}{{\sum }_{c=1}^{C}T{P}_c+{\sum }_{c=1}^{C}F{P}_c}$

$P_{micro}=\frac{{\sum }_{c=1}^{C}T{P}_c}{{\sum }_{c=1}^{C}T{P}_c+{\sum }_{c=1}^{C}F{P}_c}=\frac{1+2+2}{(1+2+2)+(1+2+1)}=\frac{5}{9}$

$P_{micro}=\frac{{\sum }_{c=1}^{C}T{P}_c}{{\sum }_{c=1}^{C}T{P}_c+{\sum }_{c=1}^{C}F{N}_c}$

$P_{micro}=\frac{{\sum }_{c=1}^{C}T{P}_c}{{\sum }_{c=1}^{C}T{P}_c+{\sum }_{c=1}^{C}F{N}_c}=\frac{1+2+2}{(1+2+2)+(1+1+2)}=\frac{5}{9}$

$F{1}_{micro}=\frac{2\ast P_{micro}\ast R_{micro}}{{\beta }^2\ast P_{micro}+R_{micro}}$

$F{1}_{micro}=\frac{2\ast P_{micro}\ast R_{micro}}{{\beta }^2\ast P_{micro}+R_{micro}}=\frac{2\ast \frac{5}{9}\ast \frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}$

总结：路漫漫其修远兮，吾将上下而求索。这次作业打公式打了很久，主要有两个方面原因，一是对Latex公式还不太了解，另一点就是手速跟不上。不过这次题目还是比较人性化的，第一题做实验的时候学到了点东西，这次当巩固了，第二题都是十内的加减法也比较简单。同时温习了熵的概念，都快忘记了。
参考：
全面理解softmax与交叉熵
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
【TensorFlow】TensorFlow从浅入深系列之六 – 教你深入理解经典损失函数（交叉熵、均方误差）