DW李宏毅机器学习笔记—Task05（四）—略看分类问题

---

前言

这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。

---

分类是怎么做的

将分类转化为回归

回归就是输入一组数据，输出一个数。
分类的话就是输入一组数据，输出一个类别。
而将回归转化成分类的话是通过输出的数字来判别类别。

通过回归来分类，这要求神经网络输出是一个向量。这个向量中的每一个元素代表着对应类别的可能性。

Softmax登场

$Regression与Classification$在前半部分都是相同的，都是输入乘上权重加上偏移，再激活一下，然后连接起来，得到其中有各种值的向量$y$。

但$Regression$在最后有个$Softmax$函数，将之前输出的向量$y$转换成一个元素值都在0和1之间的向量$y^{\prime }$，这样就可以转换成类别。

那$Softmax$函数具体又是怎么样的呢？

首先，$softmax$的输入不再叫$input$，而是$logit$，然后经过上图的计算，转化成$y_i^{\prime }$。

这里的都是多分类问题，而二分类问题怎么样呢？二分类问题我们一般不用$Softmax$函数，而一般用$sigmoid$函数。不过用$Softmax$函数和$Sigmoid$函数都一样，没什么区别。

分类问题的Loss

计算Loss第一种的方法就是之前提到的MSE，求均方差。
第二种方法就是求交叉熵。计算式在上图右下角，交叉熵在分类问题中被广泛应用，甚至在pytorch中Cross-entropy是和softmax绑定的，在前者函数中内建了softmax函数，在使用Gross-entropy时，softmax会被加到神经网络的最后一层。
注意：最小化交叉熵与极大似然式等价的。

使用Cross-entropy的优点

上图是将$y_i$赋予不同的取值区间，经过softmax后分别使用MSE和Cross-entropy形成的Error Surface。左上角的红色区域表示Large Loss，右下角的蓝色区域表示Small Loss。

我们可以看到MSE形成的Surface，先是在起点处就是一大片几乎平坦的Large Loss，这会直接导致stuck，相较之下，Cross-entropy的起点处是梯度比较大的，更方便训练。

而且这也表明Loss Function的不同也会影响最优化的难度和最终训练的效果。

---

总结

本节主要讲授了分类问题是怎么去做，怎么去优化的，出现了Softmax和Cross-entropy，解释了使用的原因和优点。