ResNet模型
ResNet核心是通过建立前面层与后面层之间的“短路连接”(shortcuts,skip connection),这有助于训练过程中梯度的反向传播,从而能训练出更深的CNN网络。
ResNet引入残差结构,是为了解决深度网络退化问题,它是在原始网络增加’冗余层‘,‘冗余层’保证输入输出相同。但是不学习恒等映射的参数。学习的是一个0值,用学习残差F(x)=0更新该冗余层的参数来代替学习h(x)=x更新冗余层的参数。解决网络退化。更新节点参数使用h(x)=F(x)+x,这样链式求导不管右边的求导参数有多小,右边始终存在。
Resnet 是前层短路连接给后层,Resnet 处理的是深度的网络可传递问题。深度ResNet的后期各层主要学习基于先前的残留物;
对比Densenet.是全部的密集连接,Densenet重点处理的是每一个DenseBlock内部和模块连接特征问题。
DenseNet模型
它的基本思路与ResNet一致,但是它建立的是前面所有层与后面层的密集连接*(dense connection),它的名称也是由此而来。DenseNet的另一大特色是通过特征在channel上的连接来实现特征重用(feature reuse)。这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能