Eltwise : element-wise
eltwise layer是caffe提供的按元素操作层。它支持3种基本操作:
1. PROD:按元素乘积
2. SUM:按元素求和(默认)
3. MAX:保存元素大者
进行何种操作可以在layer里面通过定义EltwiseOp : x #x:=0,1,2
除此之外,该层还定义了 coeff
参数,该参数只对SUM操作起作用。
最后,caffe还设定了stable_prod_grad #[default = true ]
来选择是否渐进较慢的梯度计算方法,该方法只适用于PROD操作,对SUM操作无效。
更多细节参见下面的源码。
假设输入(bottom)为A和B,如果要实现element_wise的A+B,即A和B的对应元素相加,prototxt文件如下:
layer
{
name: "eltwise_layer"
type: "Eltwise"
bottom: "A"
bottom: "B"
top: "diff"
eltwise_param {
operation: SUM
}
}
如果实现A-B,则prototxt为:
layer
{
name: "eltwise_layer"
type: "Eltwise"
bottom: "A"
bottom: "B"
top: "diff"
eltwise_param {
operation: SUM
coeff: 1
coeff: -1
}
}
其中A和B的系数(coefficient)都要给出。