pytorch学习 残差

残差能很好的解决网络梯度弥散的问题。

将网络假设成水管的话，网络层表示为阀门，越往后水管的水量越小，加入残差后，可以理解为，将水管并行，保证每个阀门都能有足够多的水量。

---

 

残差实际上是做加法，加入以图像为例， pytorch输入图片是[n,c,h,w]的张量，经过一层网络计算后得到的是[n,c',h',w']，如果做张量加法的话必须保证形状一致，n为批次不会变化，如果用卷积我们可以设计成我们加一个pad=1就保证h/w形状也不变，那么C是最常变动的，这样的话，我们设计网络的时候，c'一般设计成c的倍数（如c=16, 我们设计c'=32），这样张量可以通过广播机制自动变化，可以直接相加

另外有个road（路由的算法），但是他不是数值相加，而是contact的拼接，如（c=16，c'=32,那么结果为48）

 

对残差进一步改进的话，对每次并行出去的输入信息，加一个权重阀门，这样就是RNN的门的概念了,残差实际是lstm的特例

 

能加残差的就尽量加上，他是张量加法对计算量影响不大，张量计算量大的是乘法