AI入门：分类函数

分类函数是用于神经网络最后一层输出用的。神经网络的输出无非是二分类或者多分类。其中二分类使用Sigmoid函数，多分类使用Softmax函数。

如果我们用1表示考试及格，0表示不及格。那么60分和100分都是及格，所以我们预测结果都是1。但显然100分更好。对于这样的情况，我们需要把结果用Sigmoid函数处理一下，得到0_{1之间的一个概率值。当结果是0}0.5时，我们认为是0；0.5~1时，我们认为是1。而我们不仅仅是希望得到0或者1，我们更希望用Sigmoid函数处理得到的结果更加接近0或者1。

对于Softmax函数来说也是一样。所有的可能之和为1，我们就把可能性最大的那个情况输出即可。例如对于MNIST数据集中的一个数据进行预测，十个结果分别是0.50, 0.30, 0.10, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.04，我们就认为被检测的图片表示数字0。但是这个结果的准确性可能就不会太好，因为输出结果中还有0.30这样比较大的数据，说明神经网络自己也不太确信这个结果表示数字0。我们也希望十个结果中，有一个结果非常接近1，其它结果都非常接近0。

分类函数是神经网络的最后一层。确切的说，分类函数是神经网络正向传播的最后一层，根据分类函数的结果，我们就可以进行预测了。但是没有训练的神经网络的预测效果是非常差的，我们该怎么进行训练呢？请看下一节：反向传播。

AI入门：反向传播
上一节中提到，分类函数是神经网络正向传播的最后一层。但是如果要进行训练，我们只有预测结果是不够的，我们需要拿预测结果跟真实值进行对比，根据对比结果判断我们的神经网络是不是够好。
也就是说我们需要在分类函数后面增加一层：计算损失值。计算损失值这一次才是神经网络真