六天搞懂“深度学习”之四：基于神经网络的分类

分类用于确定数据所归属的类别，而回归是根据已知的数据进行推断或估计某个未知量，比如根据年龄和教育水平进行收入预测分析。分类的典型应用是垃圾邮件过滤和字符识别。

虽然神经网络适用于分类和回归，但却很少用于回归。这不是因为它的性能不好，而是因为大多数回归问题可以用更简单的模型来解决。（回归问题过于简单，采用神经网络通常是大材小用了！！！）

在将神经网络应用于分类时，一般来说，网络的输出层节点数量与数据分类的类别数量有关，与隐藏节点无关。比如，对于二元分类，单个输出节点的神经网络已经足够了，因为输入数据可以通过神经网络的输出值大于或小于阈值来分类。

二元分类的神经网络一般使用交叉熵函数作为代价函数，使用sigmoid函数作为隐藏节点和输出节点的激活函数。

二元分类用“0”和“1”区分两类数据，而多元分类需要更多的位数进行区分。一般来说，多元分类器采用softmax函数作为输出节点的激活函数。这是为什么呢？我们考虑一个极端的例子，假设神经网络在给定输入数据时产生的输出为向量：[1 1 1]，那么可能会认为该输入数据既属于第1类，又属于第2类和第3类，当然这明显是错误的。

对多元分类神经网络输出值的充分解释需要考虑所有节点输出的相对大小。在这个例子中，该输入数据属于每个类别的概率应当为1/3。由于softmax考虑了所有输出值的相对大小，因此softmax函数是多元分类神经网络的一种合适选择。softmax函数将输出值的总和保持为1，并且还将各输出值限制在0 – 1之间。

更多精彩文章请关注微信号：