早上起来想到可以用全卷积的方式生成实例级的特征,在进行迁移。到实验室就看到了这篇文章,好巧。
注意!!文章里的FC代表的全卷积不是全连接
首先作者认为,图像级和实例迁移背景和噪声太多,损失太大。而基于中心区域的迁移会减少这种误差。
作者使用anchor-free的检测框架作为检测pipeline。首先一个G(CNN)提取特征后进行一个图像级的迁移,然后经过P(全卷积FC)生成两个特征图,类别无关Mctr和类别相关Mcls。
Mctr就是anchor-free检测框架下中对中心点的预测,Mcls是对像素的分类结果(首先生成HxWxC,再sigmoid,再按照通道取最大值。为什么不用softmax?)。把Mctr和Mcls相乘得到Mca作为中心区域的权重,Mca乘上featuremap就得到了关注中心区域featuremap,再用这个featuremap做迁移就是所谓的更关注于中心的迁移。
网络整体的LOSS就是检测LOSS+全局迁移LOSS+中心LOSS。
检测的话因为有了中心点和类别,所以后续操作很好进行。