【caffe学习笔记】Activation / Neuron Layers 激活层

一般来说,激活层执行逐个元素的操作, 输入一个底层 blob, 输出一个尺寸相同的顶层 blob。 在以下列出的这些层中,我们将忽略输入和输出 blob 的尺寸,因为它们是相同的:
  • 输入: n * c * h * w
  • 输出: n * c * h * w


ReLU / Rectified-Linear and Leaky-ReLU
  • 层类型: ReLU
  • CPU 实现代码: ./src/caffe/layers/relu_layer.cpp
  • CUDA GPU 实现代码: ./src/caffe/layers/relu_layer.cu

参数:
Optional(可选的)
  • negative_slope [default 0]: 设置激活函数在负数部分的斜率(默认为 0), 对输入数据小于零的部分乘以这个因子,斜率为 0 时,小于零的部分完全滤掉。

例子( ./models/bvlc_reference_caffenet/train_val.prototxt)

layer {
  name: "relu1"
  type: "ReLU"
  bottom: "conv1"
  top: "conv1"
}
给定一个输入数据, 当 x > 0 时, ReLU 层的输出为 x, 当 x <= 0 时, 输出为negative_slope * x。
当negative_slope未指定时,等同于标准的ReLU函数max(x, 0),该层也支持原(址 in-place)计算, 即它的底层 blob 和顶层 blob 可以是同一个以节省内存开销。


Sigmoid
The Sigmoid 层使用 sigmoid(x)函数计算每个输入数据的输出
  • 层类型: Sigmoid
  • CPU 实现代码: ./src/caffe/layers/sigmoid_layer.cpp
  • CUDA GPU 实现代码: ./src/caffe/layers/sigmoid_layer.cu
例子( ./examples/mnist/mnist_autoencoder.prototxt)

layer {
  name: "encode1neuron"
  bottom: "encode1"
  top: "encode1neuron"
  type: "Sigmoid"
}


TanH / Hyperbolic Tangent
The TanH 层使用 tanh(x)函数计算每个输入数据 x 的输出
  • 层类型: TanH
  • CPU 实现代码: ./src/caffe/layers/tanh_layer.cpp
  • CUDA GPU 实现代码: ./src/caffe/layers/tanh_layer.cu

例子

layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "TanH"
}


Absolute Value
The AbsVal 层使用 abs(x)函数计算每个输入数据 x 的输出
  • 层类型: AbsVal
  • CPU 实现代码: ./src/caffe/layers/absval_layer.cpp
  • CUDA GPU 实现代码: ./src/caffe/layers/absval_layer.cu

例子

layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "AbsVal"
}


Power
The Power 层使用函数(shift + scale * x) ^ power 计算每个输入数据 x 的输出
  • 层类型: Power
  • CPU 实现代码: ./src/caffe/layers/power_layer.cpp
  • CUDA GPU 实现代码: ./src/caffe/layers/power_layer.cu

参数:
Optional(可选的)
  • power [default 1]
  • scale [default 1]
  • shift [default 0]

例子

layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: "Power"
  power_param {
    power: 1
    scale: 1
    shift: 0
  }
}


BNLL
The BNLL 层使用函数 log(1 + exp(x))计算每个输入数据 x 的输出。
  • 层类型: BNLL
  • CPU 实现代码: ./src/caffe/layers/bnll_layer.cpp
  • CUDA GPU 实现代码: ./src/caffe/layers/bnll_layer.cu

例子

layer {
  name: "layer"
  bottom: "in"
  top: "out"
  type: BNLL
}

相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页