【论文笔记】Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers

这篇文章考虑到了现在方法中存在的一个问题：

• 视觉模态都是使用Fast-R-CNN等模型获得到的object-region特征，一般是池化层的倒数第二层作为特征（region-base feature）

---

为什么说这是一个问题：

• Fast-R-CNN这些模型在训练的时候都是有特定的针对任务的（大多数是针对目标识别的），因此模型中的隐状态也都是为了服务于目标识别的，针对性很强，不具备通用化的能力（或者说在训练过程中损失了一部分的语义semantic信息）
• 比如目标识别的模型虽然对于目标很敏感，但是对于目标之间的关系是不敏感的，对于情绪（可以看作一种属性）也是不敏感的。
• 还有一个原因，这些图片框都是矩形的，那么由于形状的限制，一般不得不框住一些多余的部分，这就会带来噪音。

要如何解决这个问题呢？

• 之前有的文章里也意识到了这个问题（B2T2），尝试把ResNet加入训练，做end2end的模型，但是效果并不好，推测是因为深度太深导致梯度消失欠拟合。
• 本文的方法类似，也是将CNN加入训练做end2end，