Learning Activation Functions to Improve Deep Neural Networks
- ICLR2015
- 新型激活函数APL
- 加州大学欧文分校;Adobe
提出新的激活函数adaptive piecewise linear (APL),其实就是“RELU+分段函数”,分段的参数是学习到的。
公式
APL激活函数
1)输入为N*H*W,令它们为maps-1,每张为map-1
2)每张map-1的每个点会通过K种不同的分段函数(故APL会有2KHW个参数),则一张map-1会得到K张map-2。再将这K张中间map-2进行element-sum,得到1张map-3。
3)经过2),我们会得到N张map-3,对这N张map-3卷积