paper地址:2D Attentional Irregular Scene Text Recognizer.
继 Transformer-based-OCR 后又一篇基于语言、翻译模型架构的不规则文字识别的paper,主要贡献如下:
- attention部分使用多层双向transformer的block(BERT)替代了单transformer block;
- label只用于计算loss,不用作网络输入,因此output过程是一次性输出整个字符串,精度和inference速度较之Transformer-based OCR都有所改善;
- decoder部分串联了一个BERT attention模块,增强了输出节点间(每个字符作为一个节点)的依赖关系;
- 支持多行字符识别;
网络结构:
- Feature Extraction Module:图像resize为32x100作为输入,encoder部分是基于ResNet的CNN模块,得到的feature map 经过flatten操作压缩为一维特征向量,记为;再将按照顺序做 position encoding 得到位置编码矩阵,最后将 = + 作为encoder输出和后面的 Relation Attention 模块的输入;
- Relation Attention Module 为一个BERT模块(橘黄色虚线处),其具体结构如下:
这是一个多层双向的transformer block,关于transformer block的具体信息,参见上篇曲形文字识别的博文:Transformer-based OCR;其中还是有几点值得说一下:
- 首先这一块的输入为前面的(即每一个 transformer block 的Q, K, V均为 );
- 没有self attention mask,因为预测时整个字符串一同输出,不存在靠后的字符泄露信息给前面字符的问题;
- 论文中 block size 和 layer 层数均取 2;
- Parallel Attention module部分实际上是在上一个BERT模块输出的基础上做线性变换和softmax,其公式如下:
其中,为线性变换矩阵,为上一模块的输出转置后的结果,得到的是一个attention权重矩阵;
是前面encoder部分得到的特征图,输出是每一个输出节点的glimpse集合(即每一个字符对应的概率向量);
- decoder:作者称之为 two stage decoder,一般来说,在得到上述的glimpse矩阵后,经过一个线性变换和softmax就可以得出最终的预测结果,但是作者认为因为 parallel attention 部分的计算使得输出节点之间的依赖关系丢失,为了弥补这一部分的损失,在之后又接了一个BERT模块,得到的glimpse' 再经过常规的decoder操作得到输出字符串。和前面的transformer 还有 RNN / LSTM attention网络不同,这里直接输出n个字符节点(论文中n取35,即一般单词长度不会超过35),并且以EOS标志前的字符节点作为最终的预测结果。这样的好处就是每一个字符的输出不依赖前一个字符的输入,所以不会出现中间字符预测错误后对后面字符的预测有影响的情况。结构图如下:
上面为G直接decode,下面为经过一个BERT模块再decode,inference时取下面的结果为最终结果。
- 网络的loss函数为两个stage的branch预测的结果分别与ground truth的做cross entropy,再相加得到的和作为网络总的loss。
公共数据集上的表现: