神经网络输出层的设计

通过优美的矩阵乘法，我们成功将信息从输入层传递到输出层，那么现在就应该要考虑如何从输出层或许我们想要的信息。

两大类问题

在运用神经网络所解决的问题中，一般可以大致分为两类：一类是分类问题，另一类是预测问题。
由于这两类问题的性质不同，输出层的设计也有所不同。

分类问题

这是个非常常见的问题，即通过神经网络来判读一个物品是属于什么。
举个最简单的例子，手机上的手写输入法就是一个分类问题，根据你手写的字来判断它属于哪一个字（一个字就是一类）。

最常见的输出层就是有多少类就有多少个结点，每一个结点代表一类。
最后根据结点权值的大小，来判断输入的东西属于哪一类。
当种类数非常多的时候，可以考虑使用二进制分组等方法，减少结点的个数。不过这里仍需要具体问题具体分析。

预测问题

就是通过已知的数据，预测接下来会发生什么。
举个最简单的例子，还是手写输入法，当你每次输入完一个字后，在输入下一个字之前，它总会提示一些联想词。这些联想词就是预测了，根据前面所输入的词来预测你将要输入什么词。

一般而言，输出层的激活函数会设为恒等函数，每一个结点代表预测结果的一种属性，输出权值就为该属性的值。
相较于分类问题，预测问题的输出层设计更加有难度， 更需要与实际问题结合。

输出层的损失函数

这里的损失函数设计的非常巧妙，它与输出层的激活函数紧密相关。
这里个函数的相互配合使得误差导数非常优美，就是为输出与标准答案的差分，这非常有利于训练。
一般来说使用交叉熵误差作为softmax损失函数，用平方和午餐作为恒等函数的误差函数。