paper地址:2D Attentional Irregular Scene Text Recognizer.
继 Transformer-based-OCR 后又一篇基于语言、翻译模型架构的不规则文字识别的paper,主要贡献如下:
- attention部分使用多层双向transformer的block(BERT)替代了单transformer block;
- label只用于计算loss,不用作网络输入,因此output过程是一次性输出整个字符串,精度和inference速度较之Transformer-based OCR都有所改善;
- decoder部分串联了一个BERT attention模块,增强了输出节点间(每个字符作为一个节点)的依赖关系;
- 支持多行字符识别;
网络结构:
- Feature Extraction Module:图像resize为32x100作为输入,encoder部分是基于ResNet的CNN模块,得到的feature map 经过flatten操作压缩为一维特征向量,记为&#x