Learning Activation Functions to Improve Deep Neural Networks（APL激活函数）

Learning Activation Functions to Improve Deep Neural Networks

ICLR2015
加州大学欧文分校；Adobe

提出新的激活函数adaptive piecewise linear (APL)，其实就是“RELU+分段函数”，分段的参数是学习到的。

公式与示意图

  1）输入为NHW，令它们为maps-1，每张为map-1

  2）每张map-1的每个点会通过K种不同的分段函数（故APL会有2KHW个参数），则一张map-1会得到K张map-2。
  再将这K张中间map-2进行element-sum，得到1张map-3。

  3）经过2），我们会得到N张map-3，对这N张map-3卷积