路径增强特征金字塔

前言

关于文本检测，我们一般很容易做到对大感受野的文本的检测，因为经过较深的网络层数之后，文本感受野变大同时也使文本特征变得更加抽象，噪声更少，更加适合后续处理。但是对于文本检测任务来说，小尺度目标同样至关重要。但是小尺度目标因为出现的在比较早的卷积层中图像像素容易丢失。特征金字塔就是为了解决小尺度目标的检测问题而提出的。

总体结构

总体结构如图所示，输入图像被送入上图结构提取特征，原论文使用ResNeSt101和50作为主网络。前者速度快，后者精度高。组件相同，由卷积层、最大池化层、平均池化层、全连接层和归一化指数函数构成。其中卷积1层的卷积核为77，步长为2；最大池化层的卷积核为33，步长为2；卷积核2-5层都包含相同的瓶颈结构快，即11逐点卷积和33分离卷积。
然后进行逐层合并将主网络中的{p2，p3，p4,p5}作为输入，首先所有的卷积层的特征图对齐到同一纬度，即{p2，p3，p4,p5}分别经过一个卷积为11，输出维度位56的卷积层。然后将特征图自上而下和自下而上的路径进行融合，两个路径融合后的特征图可以表示为{M2，M3，M4,M5}和{N2，N3，N4,N5}，在自上而下的路径中Mi由上一层特征图Mi+1执行双线性插值上采样操作同时与Pi像素相加，再经过卷积核33的平滑卷积层得到；在自下而上的路径中Ni由下一层特征图Ni-1经过卷积和为33，步长为2的卷积层进行下采样操作同时与Pi逐像素相加，再经过卷积核33的平滑卷积层得到。最后，Mi和Ni与相应的Pi通过逐像素的加法操作进行合并，已获得融合特征图{C2，C3，C4,C5}.最后将{C2，C3，C4,C5}上采样到同一尺度，然后进行维度连接，最后通过sigmoid函数归一化到0~1之间，获得最后的分数。

具体合并公式

自上而下的路径中合并公式为：

反向路径：

C层：

最后

这就是路径增强特征金字塔的结构，结构类似于EAST算法的特征融合。以供大家参考