该文是MSRA的研究员在DynamicConv之后,又一次在激活函数方面的改进。相比静态激活函数,动态激活函数可以将MobileNetV2的性能由72.0%提升到76.2%代价仅是增加额外的5%FLOPS。从这个角度来看,这个代价还是非常值得的。
- 辅助函数
:它用于计算激活函数的参数;
- 激活函数
:它用于计算输入的激活输出,它的参数通过上述辅助函数生成。
需要注意的是:辅助函数对输入进行上下文信息编码并用于辅助后续激活函数。这种数据依赖性使得所提DyReLU可以极大的提升模型的表达能能力,尤其适用于轻量型网络。
参考:https://zhuanlan.zhihu.com/p/142650829