残差网络顾名思义,相当于走过了一条捷径,将前面的层直接输入到后面的层,放在后面层的线性激活之后,非线性激活之前,然后与后面层一起经过非线性计算,在计算的时候作为一个小尾巴,共同和当前层一起组成所谓的残差块。
计算的时候跟随下一层的非线性激活函数进行计算,作为relu()中的一项。
残差网络实现的关键在于拥有很多相同的卷积,这就使输入的维度和输出的维度可以保持一致,从而可以让残差网络进行跳远连接,构建多个残差块,优化网络性能,在现在许多网络中,比如inception network,VGG-16,Google-Net,YOLO中都有所应用。