Deep Layer Aggregation
主要应用于CV,PR等等方面。
目前问题:这种任务中,通常既需要底层信息,又需要高层信息,以及分辨率的高低,etc。通常的做法时skip connection,但这种方法往往并不足够,怎样实现最合理的Aggregation,是作者主要讨论的问题,即fuse information across layers,可以iterative,也可以hierarchical,作者做到了state of the art。
当前工作的几个方向:deeper and wider,more closely connected。使用不同block来解决这些问题,如residual,bottleneck,gated等
作者认为,Aggregation, like depth and width, isa critical dimension of architecture..
提出两种架构:HDA和IDA。
目前的结构有很多,包括AlexNet, GoogLeNet, Resnet,Fractual Net,For the most part these architecturesderive from innovations in connectivity: skipping, gating, branching, andaggregating.
Fusion 有两类,Sematic(DenseNet) 和Feature(FeaturePyramid),在DLA中,对应HAD和IDA。
作者用了一个表达方式把所有当前网络结构都表示出来,如下
C是IDA,f是HDA
HDA详细如下
IDA详细如下
结果当然是很好了。。
个人感觉是一个网络结构的统一理论,把之前的各种网络结构都囊括进来了,还表明自己的比那些要好,而且确实获得了更好的结果,总之就很牛逼。