面试题汇总
深度学习、c++、python
Erlei_n
这个作者很懒,什么都没留下…
展开
-
1*1卷积的作用
1、升维或者降维:一幅1000*1000且depth为100的图像在20个filter上做1*1卷积,结果大小为1000*1000*20。不改变特征图的大小,只改变维度。2、加入非线性:一般卷积层之后都会经过激活层,1*1的卷积在前一层的学习表示上添加了非线性激活( non-linear activation ),提升网络的表达能力;3、跨通道信息交互(channel 的变换)如:使用1*1卷积核,实现降维和升维的操作其实就是channel间信息的线性组合变化...原创 2021-12-20 14:19:21 · 396 阅读 · 0 评论 -
1.为什么必须在神经网络中引入非线性?
答:如果不用激活函数(其实相当于激活函数是f(x) = x),在这种情况下你每一层输出都是上层输入的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron)了。 正因为上面的原因,我们决定引入非线性函数作为激活函数,这样深层神经网络就有意义了(不再是输入的线性组合,可以逼近任意函数)。最早的想法是sigmoid函数或者tanh函数,输出有界,很容易充当下一层输入。 否则,我们将获得一个由多个线...原创 2020-08-11 18:52:15 · 2335 阅读 · 0 评论