某些激活函数真的对模型有作用吗?

 激活函数作用是什么?给w+b一个约束。要么是排除负值(relu),要么是缩放到一个范围(tanh等),或者更加极端(1,0)。

下面是一个训练好(flowers   acc 74.6%)的vgg16中某一层的w中的一个feature值。可以看到其中正负都有。不能排除其中负的部分对模型的准确率没有影响。假设,如果他有作用,那么可能是在纠正太“正”(过拟合)的作用。才会有relu的变形,prelu。

 上图为w

上图为b 

我认为负值也很重要,选择激活函数,应该想到。 我这么理解的,可能不对。希望讨论。

或者说可以放任某一层,不用激活函数.

-----------

后记,

剪枝有个方法是正保留0.75,负保留0.25。可见负值对模型是有用的

©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页