残差能很好的解决网络梯度弥散的问题。
将网络假设成水管的话,网络层表示为阀门,越往后水管的水量越小,加入残差后,可以理解为,将水管并行,保证每个阀门都能有足够多的水量。
残差实际上是做加法,加入以图像为例, pytorch输入图片是[n,c,h,w]的张量,经过一层网络计算后得到的是[n,c',h',w'],如果做张量加法的话必须保证形状一致,n为批次不会变化,如果用卷积我们可以设计成我们加一个pad=1就保证h/w形状也不变,那么C是最常变动的,这样的话,我们设计网络的时候,c'一般设计成c的倍数(如c=16, 我们设计c'=32),这样张量可以通过广播机制自动变化,可以直接相加
另外有个road(路由的算法),但是他不是数值相加,而是contact的拼接,如(c=16,c'=32,那么结果为48)
对残差进一步改进的话,对每次并行出去的输入信息,加一个权重阀门,这样就是RNN的门的概念了,残差实际是lstm的特例
能加残差的就尽量加上,他是张量加法对计算量影响不大,张量计算量大的是乘法