Show, Attend and Read:A Simple and Strong Baseline for Irregular Text Recognition

Show, Attend and Read:A Simple and Strong Baseline for Irregular Text Recognition

引言

该论文中，我们提出了一个易于实现的不规则场景文本识别基准网络，使用现成的神经网络组件和只有单词级别的标注。它由一个31层的ResNet、一个基于LSTM的编解码器框架和一个二维的注意模块组成。该方法虽然简单，但具有较强的鲁棒性。它在不规则文本识别基准测试和常规文本数据集上取得了最先进的效果。

模型

整个模型由两个主要部分组成:用于特征提取的ResNet CNN和基于数据量的编解码器模型。它接受一个图像作为输入，并输出一个不同长度的字符序列.

ResNet CNN

设计的31层ResNet（He et al.2016a）如表1所示。对于每个残差块，如果输入和输出尺寸不同，我们使用投影快捷方式（由1×1卷绕完成），如果它们具有相同的维度，我们使用恒等变换快捷方式。所有卷积核大小都是3×3。除了两个2×2最大池层外，我们还使用1×2最大池层，如（Shi，Bai和Yao 2017），它在水平方向轴上保留更多信息和有利于识别狭窄形状的字符（例如，‘i’，‘l’）。 得到的2D特征图（表示为尺寸为H×W×D的V，其中D是通道的数量）将用于：1）提取整个图像的整体特征; 2）作为2D关注网络的上下文。 为了保持原始宽高比，我们将输入图像调整为固定高度和不同宽度。 因此，得到的特征图的宽度W也会随着纵横比的变化而变化。

基于二维注意的编解码器

序列到序列模型已广泛应用于机器翻译、语音识别和文本识别(Sutskever, Vinyals, and Le 2014) (Chorowski et al. 2015) (Cheng et al. 2017)。本文采用基于二维注意的编解码器网络进行不规则文本识别。在不改变原始文本图像的情况下，该注意模块能够适应任意形状、布局和方向的文本。
编码器 如图3所示，编码器为2层LSTM模型，每层隐藏状态大小为512。在每个时间步长，LSTM编码器接收一列2D特性映射，然后沿垂直轴进行最大池化，并更新其隐藏状态${\mathbf{h}}_t$。经过W步，将第二LSTM层的最终隐藏状态${\mathbf{h}}_w$视为输入图像的固定大小表示(整体特征)，并提供解码。

图3:本文使用的LSTM编码器的结构。v:,i表示二维feature map v的第i列。在每个时间步长，首先沿垂直方向汇聚一个列特征，然后送入LSTM。

解码器 如图4所示，解码器是另一种LSTM模型，具有2层，每层隐藏层大小为512。编码器和解码器不共享参数。时间步长为0，首先将整体特征${\mathbf{h}}_w$输入解码器LSTM。然后在第1步将"START"标记输入到LSTM。从步骤2开始，将前一步的输出输入LSTM，直到接收到“END”令牌。LSTM输入都是由一个炎热的向量,紧随其后的是一个线性变换Ψ()。在训练过程中，解码器LSTMs的输入被真实标记字符序列所代替。输出通过以下转换计算
$${\mathbf{y}}_t=\phi \left({\mathbf{h}}_t^{\prime },{\mathbf{g}}_t\right)=\mathrm{softmax}\left({\mathbf{W}}_o\left[{\mathbf{h}}_t^{\prime };{\mathbf{g}}_t\right]\right)$$

其中${\mathbf{h}}_t^{\prime }$为当前隐藏状态，${\mathbf{g}}_t$为注意模块的输出。${\mathbf{W}}_o$是一个线性变换，它将特征嵌入到94个类的输出空间中，对应于10位数字、52个区分大小写的字母、31个标点符号和一个"END"标记。

2D注意力 传统的二维注意模块(Xu et al. 2015)独立对待每个位置，忽略了它们的二维空间关系。为了考虑邻域信息，我们提出了一种特别的二维注意机制：
$$\{\begin{array}{rl}{\mathbf{e}}_{ij}& =\tanh \left({\mathbf{W}}_v{\mathbf{v}}_{ij}+\sum _{p,q\in {\mathcal{N}}_{ij}}{\tilde{\mathbf{W}}}_{p-i,q-j}\cdot {\mathbf{v}}_{pq}+{\mathbf{W}}_h{\mathbf{h}}_t^{\prime }\right)\\ {\alpha }_{ij}& =\mathrm{softmax}\left({\mathbf{w}}_e^T\cdot {\mathbf{e}}_{ij}\right)\\ {\mathbf{g}}_t& =\sum _{i,j}{\alpha }_{ij}{\mathbf{v}}_{ij},i=1,\dots ,H,j=1,\dots ,W\end{array}$$

其中${\mathbf{v}}_{ij}$为在二维特征向量V中在(i,j)位置的local feature vector中，${\mathcal{N}}_{ij}$是这个位置周围的8个邻居;${\mathbf{h}}_t^{\prime }$为解码器LSTMs在时间步长t处的隐藏状态，被用于指导信号;${\mathbf{W}}_v$、${\mathbf{W}}_h$和${\tilde{\mathbf{W}}}_{\mathrm{S}}$是需要学习的线性变换;${\alpha }_{ij}$位置(i,j)的注意力权重;${\mathbf{g}}_t$为局部特征的加权和，作为 glimpse。与传统的注意机制相比，我们在计算${\mathbf{v}}_{ij}$的权重时加入了一个部分${\sum }_{p,q\in {\mathcal{N}}_{ij}}{\tilde{\mathbf{W}}}_{p-i,q-j}\cdot {\mathbf{v}}_{pq}$。从图5可以看出(2)的计算可以通过一系列卷积运算来完成。因此很容易实现。

提出的二维注意机制的计算可以简单地通过卷积实现，其中${\mathbf{W}}_v{\mathbf{v}}_{ij}+{\sum }_{p,q\in {\mathcal{N}}_{ij}}{\tilde{\mathbf{W}}}_{p-i,q-j}\cdot {\mathbf{v}}_{pq}$;并给出了中间结果的大小。操作平铺复制输入1,1,d向量H×W次.