caffe loss layers

1.Softmax

• 类型（type）：SoftmaxWithLoss（广义线性回归分析损失层）

Softmax Loss Layer计算的是输入的多项式回归损失（multinomial logistic loss of the softmax of its inputs）

2.Sum-of-Squares / Euclidean

• 类型（type）：EuclideanLoss（欧式损失层）

euclidean loss即为计算两个不同输入的平方和,

$$\frac{1}{2N}\sum_{i=1}^N ||x_i^1-s_i^2||_2^2$$

3.Hinge / Margin

• 类型（type）：HingeLoss

  ​

• 参数包括L1,L2范数：

​ 可选：norm [default L1]: the norm used. Currently L1, L2（可以选择使用L1范数或者L2范数；默认为L1）

使用方法如下,

#使用L1范数

layer {

  name: "loss"                  # 名称：loss

  type: "HingeLoss"             # 类型：HingeLoss

  bottom: "pred"                # 输入：预测值

  bottom: "label"               # 输入：标签值

}

#使用L2范数

layer {

  name: "loss"                  # 名称：loss

  type: "HingeLoss"             # 类型：HingeLoss

  bottom: "pred"                # 输入：预测值

  bottom: "label"               # 输入：标签值

  top: "loss"                   # 输出：loss值

  hinge_loss_param {

    norm: L2                    # 使用L2范数

  }

}

1. Sigmoid Cross-Entropy

   • 类型（type）：SigmoidCrossEntropyLoss