这里我们简单介绍一下Caffe是如何实现Softmax层的,通常我们使用的是SoftmaxWithLossLayer,这里我们仅仅讲讲Caffe的SoftmaxLayer
定义输入
在Caffe的世界里,每一层的输入叫做Bottom,输出叫做Top,而Caffe的Forward就是通过Bottom计算Top的过程,而Backward这是通过Top_diff计算Bottom_diff的过程。
我们定义Bottom:x = {
xi } (i=1 … n),Top:z = {
zi } (i=1…n)
根据Softmax的公式 ei