Caffe中损失层简介

  caffe中实现了多种损失层，分别适用于多种场合。Loss 是估计值和真实值之映射到某一空间的误差，而loss function就是这种误差的描述形式，loss function反映出了对于问题的定义。

1.SoftmaxWithLoss

  SoftmaxWithLossLayer实现了Softmax+ 交叉熵损失函数计算过程，适用于单label的分类问题；

2.Euclidean Loss

  欧式距离损失函数表示样本估计值和预测值的欧式距离平方的均值，也就是均方根误差(MSE)，适用于回归问题；

3、Hinge Loss

  铰链损失函数，这个loss就是SVM用到的loss。Hinge loss就是0-1 loss的改良版，这个改良主要在两个方面，一个是在t.y在【0 1】之间不再是采用hard的方式，而是一个soft的方式。另外一个就是在【-inf，0】之间不再采用固定的1来定义能量的损失，而是采用一个线性函数对于错误分类的情况进行惩罚，用于SVM最大间隔分类；

4、Sigmoid+交叉熵损失函数

  适用于多属性/多分类问题。