Pytorch激活函数之Relu家族:ReLU、LeakyReLU等
昨天在听师弟师妹分享图卷积神经网络一篇paper的时候,看到一个激活函数LeakyReLU,因此萌生了学习一下的想法。1、为什么需要非线性激活函数?首先这个问题其实可以拆分成个问题:①为啥需要激活函数?②为啥还是非线性的激活函数?对于第一个问题来说,在神经网络中,我们增加了激活函数就是想增加模型的学习能力,让表达的能力增强而不只是简单的线性组合。对于第二个问题来说,因为如果是线性的激活函数,比如y=kx(k≠0),那么经过三层激活以后其实学到的东西很有限,可能仅仅堆叠多个线性层。总而言之
原创
2020-11-11 15:43:12 ·
12449 阅读 ·
1 评论