Caffe激活层参数详解

一、引言

       在激活层中，对输入数据进行激活操作（实际上就是一种函数变换），是逐元素进行运算的。从bottom 得到一个 blob 数据输入，运算后从 top 输出一个 blob 数据。在运算过程中，没有改变数据的大小，即输入数据和输出数据大小是相等的。常用的激活函数由 sigmoid、tanh、relu 等，下文展开讲解。

二、 Sigmoid 激活函数

       对于每个输入数据，利用 Sigmoid 函数执行操作。这种层设置比较简单，没有额外的参数。

      Sigmoid函数公式：     

type

Sigmoid

layer {
  name: "encode1neuron"
  bottom: "encode1"
  top: "encode1neuron"
  type: "Sigmoid"
}

三、 ReLu / Rectified-Linear and Leaky-ReLu 激活函数

       ReLu 是目前使用最多的激活函数，主要因为其收敛更快，并且能保持同样效果。ReLu层支持 in-place 计算，这意味着 bottom的输出和输入相同以避