FaPN: Feature-aligned Pyramid Network for Dense Image Prediction

        本文基本上就是在FPN基础上加了两个模块，一个FSM，用了选择特征，一个FAM，用来对齐特征。

        

        在FPN中，上采样块会结合降采样网络中间层的feature map，但实际上，同意特征在这同一分辨率的两幅图中可能并未对齐。作者便提出了FAM模块，利用可变形卷积，将特征对齐。

        虽然文中先讲了FAM，但个人认为应该先将FSM，毕竟FSM的输出是FAM输入的一部分。

        相较于FPN用1X1卷积选择通道，FSM通过fm判断每个通道的重要性，然后调整吗，每个通道的数值，并通过残差连接和通道原始数值相加，最后再通过fs这个1X1卷积筛选通道。

        

        而FAM读取上采样块的输出和FSM的输出，将两者拼接（用np的cat函数），并做一个3X3卷积，得到一个Offset图像，再将这个offset和Pi一起输入到一个可变性卷积中，将特征对齐并卷积。可变形卷积的详细解析见链接：可变形卷积从概念到实现过程，大概功能是卷积核输入不再是相邻的NXN个像素，而是在NXN基础上，根据offset，对每个输入点进行位移，获得其他位置的像素信息，并卷积。

        而本文通过不断地训练网络，就能让其中的普通卷积捕捉到两幅图像未对齐的部分，并生成offset，再通过这个offset进行对齐。