使用caffe做二分类问题的时候,对于loss层的选择主要有以下两种常用的方法:
1、sigmoid cross entropy
最后一层fc的输出设置为一个结点,输入的label是0或1。
2、softmax with loss
最后一层fc的输出设置为两个结点,输入的label依旧是0或者1。
这是由于softmax是用于处理多分类问题,需要上一层的输出个数同分类数目相同,而损失层会将label变为(1,0)或者(0,1)的形式。
这里需要重点提到accuracy的计算原理,涉及到accuracy的底层代码:
accuracy在.prototxt文件中通常定义为:
layer {
name: "accuracy"
type: "Accuracy"
bottom: "fc_final"
bottom: "label"
top: "accuracy"
include {
phase: TEST
}
}
从accuracy layer的定义我们可以看出,accuracy的输入一个是最后一层的全连接层,一个是输入的label。
fc_final输出的值和概率并没有关系,它可以是属于R的任何值,那么为什么无论fc_final接多少个输出,而label输入只是{0,1}的时候,accuracy层也能计算出Test层的准确度呢?