（二十六）论文阅读 | 文本识别之FOTS

最新推荐文章于 2024-04-14 09:54:29 发布

zhangts20

最新推荐文章于 2024-04-14 09:54:29 发布

阅读量646

点赞数

分类专栏：论文阅读文章标签：计算机视觉深度学习

本文链接：https://blog.csdn.net/Skies_/article/details/106908795

版权

论文阅读专栏收录该内容

54 篇文章 33 订阅

订阅专栏

简介

在这里插入图片描述

图1：论文原文

前面两篇文章介绍了场景文本检测方法 ${\rm CTPN}$ 和文本识别方法 ${\rm CRNN}$ ，它们都是相关领域内比较经典的工作。这两篇文章对应地将场景文本识别分为两大步骤：检测和识别。今天介绍的文章是发表在 ${\rm CVPR\ 2018}$ 上的关于端到端的场景文本识别方法，它可以通过单个网络直接在给定场景中提取可能的文本内容。最终，该模型在多项数据集中均取得了良好的结果。论文原文源码

0. Abstract

自然场景下的文本识别是最具挑战的工作之一，当前大多数方法都是将其拆分为两个过程：检测和识别。论文提出一种端到端的模型， ${\rm FOTS}$ ，它可以同时检测和识别场景中的文本。特别地，论文提出 ${\rm RoIRotate}$ 以共享检测和识别过程中的卷积运算。

论文贡献：（一）提出一种端到端的场景文本识别模型，它可以共享检测和识别过程的卷积运算；（二）提出 $R o I R o t a t e$ 算子，它能够基于文本建议区域提取文本特征；（三） ${\rm FOTS}$ 在多项数据集上达到了 ${\rm SOTA}$ ；（四）首次提出将场景文本识别模型以端到端的方式训练，为以后的研究提供了一种可行的思路。

1. Introduction

传统的场景文本识别方法主要通过检测和识别两个单独的阶段完成，且现在深度学习在该领域内占据主动。在文本检测阶段，首先通常使用卷积神经网络提取特征，然后使用解码器对特征图进行处理；在文本识别阶段，模型主要是使用循环神经网络顺序地预测单个字符，最后完成整个序列的预测。上述两种方法都不能很好地利用图像信息或序列信息。

论文提出一种端到端的场景文本识别方法，它可以在单个网络中同时检测和识别文本。同时它可以共享检测和识别过程中的卷积运算，这主要得益于 $R O I R o t a t e$ 。如下图展示了 ${\rm FOTS}$ 与两阶段场景文本识别模型的对比：
在这里插入图片描述

图2：FOTS与两阶段算法

${\rm FOTS}$ 的整体流程如下：
在这里插入图片描述

图3：FOTS流程

首先，使用卷积神经网络提取输入图像特征；其次，上面是文本检测分支，它用于检测文本的边界框；然后， ${\rm RoIRotate}$ 结合 ${\rm CNN}$ 提取的特征和文本检测模块产生的建议区域，产生建议区域的文本特征。接着，将 ${\rm RoIRotate}$ 的结果送入 ${\rm RNN}$ 和 ${\rm CTC}$ 中就构成了下面的文本识别分支。最后，综合两个分支的结果得到最终的文本检测和识别结果。

2. Related Work

2.1 Text Detection

大多数基于传统的文本检测方法都是将文本序列的检测视为单个字符的检测。具体地，首先模型单独地检测每个字符可能的位置，然后使用滑动窗口或连通分量将单个字符连接起来形成最终的序列检测结果。显然，这个过程并没有利用序列间各元素间的语义信息，最终可能会产生诸多不完整的检测结果。

基于深度学习的文本检测方法首先使用卷积神经网络提取图像特征，然后使用 ${\rm RNN}$ 等将各检测区域相连。这样，最终的检测结果不仅包含图像的语义信息，也包含了序列的文本信息。这类方法主要基于通用目标检测方法，如 ${\rm CTPN}$ 、 ${\rm SegLink}$ 等。

2.2 Text Recognition

文本识别模型的输入通常是感兴趣文本区域，然后将解码序列作为输出。当前文本识别模型主要分为三类：基于字符分类，基于序列到标签解码，基于序列到序列解码。

基于字符分类的方法首先建立一个字符字典，然后将文本识别问题转化成字符的多分类问题。显然当待检测序列的字符种类足够多时，我们需要建立庞大的字典，这回带来繁琐的操作。基于序列到标签解码的方法基于输入序列产生最大概率的标签，常与条件随机场相结合。基于序列到序列解码的方法常用于文本翻译，它的输入序列和输出序列都是可变长的。

2.3 Text Spotting

大多数的场景文本识别首先产生包含文本的感兴趣区域，然后使用文本识别模型提取区域内容作为预测结果输出。后来，也有将二者继承到单个模型中，比如使用经典目标检测算法 ${\rm SSD}$ 检测文本区域，然后使用 ${\rm CRNN}$ 进行文本识别。

3. Methodology

3.1 Overalll Architecture

图 $3$ 展示了 ${\rm FOTS}$ 的整体结构。在 ${\rm CNN}$ 部分使用的是 ${\rm ResNet}$ - ${\rm 50}$ ，同时基于 ${\rm FPN}$ 的思想，这里有一个上采样的过程，将低层语义信息和高层语义信息相融合。在文本检测分支，使用卷积特征作为输入，输出每个像素的预测结果。基于检测分支得到的建议区域以及卷积特征， ${\rm RoIRotate}$ 得到相应维度的向量，且保持区域的宽高比不变。最后由文本检测分支输出文本区域，文本识别分支提取文本内容。整个过程可以看作是 ${\rm CNN+LSTM+CTC}$ 。文本识别分支的结构如下：在这里插入图片描述

图4：文本识别分支

3.2 Text Detection Branch

在检测分支，首先使全卷积作用于卷积特征图上，该卷积的结果作为密集预测。第一个通道为该像素为正样本的概率；对于每个正样本，接下来的四个通道为该像素到对应文本四个边界的距离；最后一个通道用于预测边界框的方向。最后，使用阈值化和非极大值抑制处理这些正样本，得到预测结果。为应对正负样本的不均衡，实验阶段还加入了在线难例负样本挖掘。

检测分支的损失函数由两部分组成：文本区域分类和边界框回归，及分类损失和回归损失。分类损失为下采样后特征图上相应像素点的分类损失和。分类损失只涉及正样本集合，其具体定义如下： $L_{cls}=\frac{1}{|\Omega|}\sum_{x\in\Omega}{\rm H}(p_x,p_x^*)=\frac{1}{|\Omega|}\sum_{x\in\Omega}(-p_x^*{\rm log}p_x-(1-p_x^*){\rm log}(1-p_x))\tag{1}$

这是典型的二分类交叉熵损失函数形式，且所有损失值的计算定义在正样本集合 $\Omega$ 内。在回归损失部分，结合 ${\rm IoU}$ 损失和旋转角度损失后得到的形式如下： $L_{reg}=\frac{1}{|\Omega|}\sum_{x\in\Omega}{\rm IoU}({\bold R}_x,{\bold R}_x^*)+\lambda_{\theta}(1-\cos(\theta_x,\theta_x^*))\tag{2}$

则得到的文本检测分支的损失函数如下： $L_{detect}=L_{cls}+\lambda_{reg}L_{reg}\tag{3}$

3.3 RoIRotate

由上面的叙述可知，我们通过文本检测分支得到许多感兴趣文本区域，然后它作为 ${\rm RoIRotate}$ 的一部分输入。 ${\rm RoIRotate}$ 对输入区域变换，获得坐标轴对齐的特征图。简单来说，它是文本检测和文本识别间的桥梁，通过文本检测得到的各种倾斜的、变化的区域固定为水平的、固定宽的区域，以此作为文本识别分支的输入。这一过程同 ${\rm STN}$ 类似，整个过程依靠仿射变换完成。如下图：在这里插入图片描述

图5：RoIRotate

在变换过程中固定每个区域的高度以及宽高比，根据输入区域的宽度来动态调整输出区域的宽度。与 ${\rm RoI\ Pooling}$ 和 ${\rm RoIAlign}$ 相比， ${\rm RoIRotate}$ 提供了一种更为通用的特征提取方式。同时与 ${\rm RRPN}$ 中使用最大池化相比， ${\rm RoIRotate}$ 使用双线性插值计算输出。该系列操作避免了感兴趣区域和提取特征间的不对齐，并且使得输出特征长度可变，这更适用于文本识别。

${\rm RoIRotate}$ 的具体过程可以分为两个步骤：首先，通过预测或真实文本区域计算仿射变换参数，然后，在卷积特征图上应用仿射变换，得到文本区域的水平特征图。其中，第一步可以描述如下： $t_x=l*\cos\theta-t*\sin\theta-x\tag{4}$

$t_y=t*\cos\theta+l*\sin\theta-y\tag{5}$

$s=\frac{h_t}{t+b}\tag{6}$

$w_t=s*(l+r)\tag{7}$

$\begin{aligned} \bold M &=\left[ \begin{array}{ccc} \cos\theta & -\sin\theta & 0 \\ \sin\theta & \cos\theta & 0 \\ 0 & 0 & 1 \end{array} \right] \left[ \begin{array}{ccc} s & 0 & 0 \\ 0 & s & 0 \\ 0 & 0 & 1 \end{array} \right] \left[ \begin{array}{ccc} 1 & 0 & t_x \\ 0 & 1 & t_y \\ 0 & 0 & 1 \end{array} \right]\\ \\ &=s \left[ \begin{array}{ccc} \cos\theta & -\sin\theta & t_x\cos\theta-t_y\sin\theta \\ \sin\theta & \cos\theta & t_x\sin\theta+t_y\cos\theta \\ 0 & 0 & \frac{1}{s} \end{array} \right]\tag{8} \end{aligned}$

式 $(4)$ 到式 $(7)$ 是通过计算得到的放射变换参数。上式 $(8)$ 中右端第一个矩阵为旋转矩阵，第二个矩阵为缩放矩阵，第三个矩阵为平移矩阵。将上述三个矩阵共同作用于一幅图像，就构成了图像的放射变换，即得到式 $(8)$ 中最后的仿射变换矩阵。其中， $h_t$ 和 $w_t$ 分别表示经仿射变换后特征图的宽度和高度。 $(x, y)$ 表示卷积特征图上的点， $(t, b, l, r)$ 表示该点离相应文本边界框四个边界的距离， $\theta$ 表示框的方向。则经仿射变换后得到的感兴趣区域为： $V_{ij}^c=\sum_n^{h_s}\sum_{m}^{w_s}U_{nm}^ck(x_{ij}^s-m;\Phi_x)k(y_{ij}^s-n;\Phi_y)\tag{9}$

其中 $U_{nm}^c$ 表示位置为 $(n, m)$ 、通道 $c$ 的输入像素值， $V_{ij}^c$ 表示位置为 $(i, j)$ 、通道 $c$ 的输出像素值， $\Phi$ 是 $k ()$ （双线性插值）的参数， $h_s$ 和 $w_s$ 是输入特征图的高和宽。上式相当于从输入的 $x_{ij}^s,y_{ij}^s)$ 位置确定目标 $x_{ij}^t,y_{ij}^t)$ 的过程，即 $\begin{pmatrix} x_i^s\\ y_i^s\\ 1 \end{pmatrix}= \bold M^{-1} \begin{pmatrix} x_i^t\\ y_i^t\\ 1 \end{pmatrix}\tag{10}$

式 $(9)$ 中的 $k ()$ 表示双线性插值，实际上我们可以将其写为： $V_{ij}^c=\sum_n^{h_s}\sum_{m}^{w_s}U_{nm}^c\max(0,1-|x_{ij}^s-m|)\max(0,1-|y_{ij}^s-n|)\tag{11}$

最后，我们从图 $5$ 中可以看到，各感兴趣区域都被填充为固定宽度的输出，该宽度由最长的序列决定。

3.4 Text Recognition Branch

文本识别分支由卷积序列、一个双向 ${\rm LSTM}$ 、一个全卷积层和 ${\rm CTC}$ 组成。首先，输入经过几个卷积和池化操作以提供更加丰富的特征，得到特征图 $\bold L\in \R^{C×H×W}$ ；接着，将特征图按时间形式展开作为 ${\rm RNN}$ 的输入，为 ${\bm l_1},...,{\bm l_W} \in \R^{C×H}$ 。这里使用的是双向 ${\rm LSTM}$ ， $D = 256$ 。隐藏层状态为 ${\bm h_1},...,{\bm h_W} \in \R^{D}$ 。产生的结果为 $x_t\in\R^{|S|}$ ， $S$ 为字符类别；然后，将 ${\rm LSTM}$ 产生的结果送入全连接层，并通过加入 ${\rm Dropout}$ 防止过拟合；最后，使用 ${\rm CTC}$ 将单个字符的预测结果连接成最后整个序列的预测结果，其中 ${\rm CTC}$ 在上文 ${\rm CRNN}$ 中已经介绍。

基于 $S$ 的隐藏状态 ${\bm h}_t$ 得到的分布的概率为 ${\bm x}_t$ ，真实值为 ${\bm y}^*=\{y_1,...,y_T\}$ ，得到条件概率： $p({\bm y}^*|{\bm x})=\sum_{\pi\in B^{-1}({\bm y}^*)}p(\pi|{\bm x})\tag{12}$

该公式的含义同 ${\rm CRNN}$ 中的类似，具体内容可以参考上文。则文本识别分支对应的损失函数为： $L_{recog}=-\frac{1}{N}\sum_{n=1}^N\log p({\bm y}_n^*|{\bm x})\tag{13}$

最后， ${\rm FOTS}$ 的总的损失函数定义为： $L=L_{detect}+\lambda_{recog}L_{recog}\tag{14}$

4. Experiments

在这里插入图片描述

图6：ICDAR2015数据集上实验结果对比

在这里插入图片描述

图7：ICDAR2017数据集上实验结果对比

在这里插入图片描述

图8：ICDAR2013数据集上实验结果对比

在这里插入图片描述

图9：FOTS的实时性

5. Conclusion

${\rm FOTS}$ 是一种端到端的场景文本识别方法，它通过 ${\rm RoIRotate}$ 将文本检测分支和文本识别分支融合，以实现共享卷积。而 ${\rm RoIRotate}$ 主要基于 ${\rm STN}$ 的思想，将候选文本区域校正、固定后作为文本识别分支的输入。由结果可知， ${\rm FOTS}$ 在输入大小为 $1280 \times 720$ 时的最大 ${\rm FPS}$ 为 $22.6$ 。

参考

Liu X, Liang D, Yan S, et al. Fots: Fast oriented text spotting with a unified network[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 5676-5685.
https://blog.csdn.net/qq_39422642/article/details/78870629.

完