caffe系列之激活函数

1、Sigmoid

layer{
    name: "encod1act"
    bottom: "encode1"
    top: "encode1neuron"
    type: "Sigmoid"
}

2、ReLU/Retified-Linear and Leaky-ReLU
可选参数：negative_slope：默认为0。对标准的ReLU函数进行变化，如果设置了这个值，那么数据为负数时，就不再设置为0，而是原始数据乘以negative_slope。

layer{
    name: "relu1"
    type: "ReLU"
    bottom: "pool1"
    top: "pool1"
}

RELU层支持in-place计算，这意味着bottom输出和输入相同以避免内存的消耗。
3、TanH/Hyperbolic Tangent

layer{
    name: "lauer"
    bottom: "input"
    top: "out"
    type: "TanH"
}

4、Absolute Value

layer{
    name: "layer"
    bottom:  "in"
    out: "out"
    type: "AbsVal"
}

5、Power
对每个输入数据进行幂运算
可选参数：
power： 默认为1
scale： 默认为1
shift： 默认为0

layer{
    name: "layer"
    bottom: "in"
    top: "out"
    type: "Power"
    power_param{
        power: 2
        scale: 1
        dhift: 0
    }
}

6、BNLL

f(x) = log(1+exp(x))

layer{
    name: "layer"
    bottom: "in"
    top: "out"
    type: "BNLL"
}