高效而准确的场景文字检测 EAST

1. 介绍

EAST: An Efficient and Accurate Scene Text Detector
论文地址：
https://arxiv.org/abs/1704.03155v2

1. 本文使用单个神经网络直接预测任意方向的四边形的单词和文本行，消除了不必要的中间步骤（如：候选区域聚合 和 单词分区）。
2. 本文提出的基础架构可以集中精力设计损失函数和神经网络。
3. 在ICDAR2015的数据集上，此方法在Titan-X GPU上，获得了0.782的F-score，和13.2的FPS。

2. 模型介绍

2.1 概况

1. 文本检测的核心是设计特征区别文字和背景。之前有手工设计的特征和基于深度学习的。
2. 以前的算法，都包含几个阶段或者组件；本算法只包含两个阶段，全卷积神经网络和NMS合并阶段。
3. 传统的方法有SWT（基于笔画宽度变换）、MSER（最大稳定的极端区域）、FASTText。

2.2 相关工作

2.2.1 网络设计

1. 本方法的关键是一个全卷积神经网络输出密集的单词或者文本行（消除了候选区域推荐、文本分区等过程）。
2. 后处理步骤只包含阈值操作和NMS。
3. 网络经5次下采样后变为原来的$\frac{1}{32}$，而后经过unpooling后进行concat操作、直到特征图变为原图大小的$\frac{1}{4}$，特征通道由384-128-64-32。
4. 预测输出分为2个部分：score map是置信度、和位置信息。位置信息用了两种方法：RBOX和QUAD。
5. RBOX中：text boxes是预测框的几何位置，分别表示到四条边的距离$d_1,d_2,d_3,d_4$，text rotation angle是预测的角度值；QUAD中：8个值分别是四个顶点坐标的偏移量$(\Delta x_i,\Delta y_i)$

2.2.2 标签生成

2.2.3 损失函数

1. 损失函数如下：$$L=L_s+{\lambda }_g{L}_g$$
   其中$L_s$代表score map的损失，$L_g$代表几何坐标损失。${\lambda }_g$代表权重，实验中设置为1。

2. 大多数检测方法，通过平衡采样来处理样本不平衡的问题。这样做可能提高性能，但是带来了超参数。本文使用类别平衡交叉熵损失函数：
   $$\{\begin{array}{l}{L}_s=balanced-xent(\hat{Y},Y^{\ast })\\ L_s=-\beta Y^{\ast }log\hat{Y}-(1-\beta )(1-Y^{\ast })log(1-\hat{Y})\end{array}$$
   其中$\beta$为正负样本的平衡因子,$Y^{\ast }$是ground truth。
   $$\beta =1-\frac{{\sum }_{y^{\ast }\in Y^{\ast }}{y}^{\ast }}{|Y^{\ast }|}$$

3. 几何损失方面：文本检测的问题是，不同的文本大小区别很大，$L_1，L_2$损失将会导致Loss趋向于大的文本区域。因此，对于RBOX：使用IOU损失；对于QUAD：使用归一化的$L_1$损失。

4. RBOX：
   $$\begin{gathered} L_{AABB}=-logIoU(\hat{R},R^{\ast })=-log\frac{|\hat{R}\cap R^{\ast }|}{|\hat{R}\cup R^{\ast }|} \\ {w}_i=min(\widehat{d_2},d_2^{\ast })+min(\widehat{d_4},d_4^{\ast }) \\ {h}_i=min(\widehat{d_1},d_1^{\ast })+min(\widehat{d_3},d_3^{\ast }) \end{gathered}$$
   注意：在计算RBOX损失时，IOU的计算中没有考虑角度。
   $$\begin{gathered} L_{\theta }(\hat{\theta },{\theta }^{\ast })=1-cos(\hat{\theta }-{\theta }^{\ast }) \\ {L}_g=L_{AABB}+{\lambda }_{\theta }{L}_{\theta } \end{gathered}$$

5. QUAD：
   C Q = { x 1 , y 1 , . . . , x 4 , y 4 } C_Q=\{ x_1,y_1,...,x_4,y_4\} CQ​={x1​,y1​,...,x4​,y4​}
   $$\{\begin{array}{l}{L}_g=L_{QUAD}(\hat{Q},Q^{\ast })\\ L_g=min{\sum }_{c_i\in C_Q}\frac{smoothe{d}_{L_1}(c_i-\widetilde{c_i})}{8\ast N_{Q^{\ast }}}\end{array}$$
   其中归一化项$N_{Q^{\ast }}$是最短边的长度。

2.2.4 训练

1. 使用adam优化器，输入图像裁剪为512*512，minibatch为24，lr为0.001，27300个minibatch后变为之前的十分之一，0.00001后终止。
2. LA-NMS(Locality-Aware NMS)。预测出结果后，需要合并预测框，因为是密集预测，传统的NMS太慢。LA-NMS首先会逐行合并预测框

2.2.5 实验

1. 在三个基准上进行实验：ICDAR2015、COCO-Text、MSRA-TD500。
2. 网络使用了PVANET、PVANET2x、VGG16。
3. 结果如下图所示：