mysql ignore caps_TextCaps竞赛总结

此前参与CVPR TextVQA challenge和TextCaps challenge，分别获得第三名与第一名，在此总结一下TextCaps竞赛中所使用的方法，以备后续研究时参考。图文均来自竞赛后提交的总结报告。

OCR analysis

我们的模型基于M4C-captioner模型，主要关注OCR的改进。为了直观地了解当前的OCR性能，我们对Rosetta的OCR结果和训练集的参考标题进行了分析，发现在所有字幕中的4006080个单词中，有198295个(4.95%)单词出现在Rosetta的OCR结果中。其余词汇中有2961855个词(73.93%)包含在词汇表中，这意味着剩下的22.04%的词无法用模型进行预测，从而设定了准确度的上限。这说明我们应该重点关注OCR的改进。

Pipeline

我们的模型以M4C-captioner为基础，使用ABCNet和CRAFT进行文本识别，使用四阶段STR框架进行文本识别。利用仿射变换将不规则文本区域调整为矩形。