论文笔记(P2T)

10.P2T

整体思路与Shunted-Transformer一致

前馈网络（Feed-forward Network, FFN）

在transformer中，前馈网络（FFN）是一种基础的特征增强模块。然而传统FFN仅用数个全连接层在特征的通道维度进行增强，其并没有考虑到图像是2维特征。通过将2D局部特征学习引入到FFN中，可以进一步提高场景理解所需要的特征表达能力。相对于普通的transformer使用的FFN，我们额外添加了一个深度3x3卷积来额外学习2D局部表征，即与MobileNetV2中的反向瓶颈模块（IRB）一致。

P2T采用了更轻量的Hardswish激活，GELU与其相比，训练内存占用额外多出了52%。我们也发现，采用Hardswish激活的P2T和采用GELU的P2T性能一致。所以，我们使用Hardswish激活，使得P2T可以在更小显存上的显卡上训练。