#今日论文推荐# CVPR 2022 | 阿里&华科提出：针对场景文本检测的视觉语言模型预训练

#今日论文推荐# CVPR 2022 | 阿里&华科提出：针对场景文本检测的视觉语言模型预训练

一、研究背景
预训练通常被用于自然语言处理以及计算机视觉领域，以增强主干网络的特征提取能力，达到加速训练和提高模型泛化性能的目的。该方法亦可以用于场景文本检测当中，如最早的使用ImageNet预训练模型初始化参数，到使用合成数据直接预训练检测器再在真实数据上Finetune[1][2]，再到通过定义一些预训练任务训练网络参数等。但这些方法都存在一些问题，比如[1][2]中合成数据与真实数据的Domain Gap导致模型在真实场景下Finetune效果不佳，[3]中没有充分利用视觉与文本之间的联系。基于这些观察，本文提出了一个通过视觉语言模型进行图像、文本两个模态特征对齐的预训练方法VLPT-STD，用于提升场景文本检测器的性能。

二、方法介绍
本文提出了一个全新的用于场景文本检测预训练的框架—VLPT-STD，它基于视觉语言模型设计，可以有效地利用文本、图像两种模态的特征，使得网络提取到更丰富的特征表达。其算法流程如图1所示，主要分为Image Encoder，Text Encoder以及Cross-model Encoder三个部分，并且设计了三个预训练任务让网络学习到跨模态的表达，提高网络的特征提取能力。

论文题目：Vision-Language Pre-Training for Boosting Scene Text Detector
详细解读：https://www.aminer.cn/research_report/62f2641c7cb68b460fff4741https://www.aminer.cn/research_report/62f2641c7cb68b460fff4741
AMiner链接：https://www.aminer.cn/?f=cs