caffe:
关于每个样本对(向量)求L2-loss(相减 平方 求和 除以2)
对mini-batch内的所有损失取平均:
(m对应官方文档中的N)
实现代码:https://github.com/BVLC/caffe/blob/master/src/caffe/layers/euclidean_loss_layer.cpp
补充点:
L2 范数: 平方 求和 开根号
L2范数的平方: 平方 求和
L2-loss: 平方 求和 除以2 (下图是tensorflow 手册)
tensorflow:
相减 平方 求和(axis=1) 除以2 取平均(axis=0)
euclidean_loss = tf.reduce_mean(tf.reduce_sum(tf.square(tf.sub(logits, labels)), axis=1)/2, axis=0)
tf.add_to_collection('losses', euclidean_loss)