【文本检测】2、DBNet++ | 为 DBNet 引入多级特征图聚合模块 ASF

呆呆的猫

已于 2022-12-25 19:17:23 修改

阅读量2.6k

点赞数 2

分类专栏：文本检测文章标签：人工智能计算机视觉深度学习

于 2022-12-25 00:06:46 首次发布

本文链接：https://blog.csdn.net/jiaoyangwm/article/details/128429459

版权

文本检测专栏收录该内容

3 篇文章 0 订阅

订阅专栏

在这里插入图片描述

文章目录

论文：Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion

代码：https://github.com/open-mmlab/mmocr/tree/main/configs/textdet/dbnetpp

出处：TPAMI 2022 | 和 DBNet 出自同一团队

一、背景

在这里插入图片描述

文本检测的目的是在图像中定位出文本的位置，是文本识别的基础。

基于分割的方法能够得到像素级的表达，但是，后处理的处理方式对检测结果影响很大。

如图 2 所示的蓝色箭头表示的后处理方式是基于分割方法的基础处理方式：

首先，将分割结果图使用二值化的方式变成二值化图
然后，使用启发式的方法（如像素聚合）将一簇的像素聚合成文本区域
这两个过程是独立进行的，不能参与训练过程，会导致检测准确率较低

本文的作者首先提出了 DBNet，将特征图二值化的过程构建成了一个可微的过程，可以直接参与到训练中，如图 2 红色箭头所示：

首先，还是生成分割结果图，但也同时会预测一个 threshold map，也就是图 2 中高亮的那个特征图，这样不同位置的阈值是不同的，这样做的原因在于，作者认为文本区域的边界区域的置信度应该是比中心区域低的。
然后，作者引入了二值化操作的一个近似方法：Differentiable Binarization (DB)，使用 threshold map 来对分割图进行二值化，这样就可以联合优化分割过程和二值化过程，可以得到更好的检测结果

DBNet++ 的出发点：

在 DBNet 中，作者在分割网络中直接对多尺度的特征图聚合来提高对不同尺度的鲁棒性，直接聚合缺少了对特征的选择性
DBNet++ 中，作者提出了 Adaptive Scale Fusion (ASF) module，来动态聚合多尺度特征图

ASF 模块的特点：

ASF 是一个 stage-wise attention 模块，并且其中引入了 spatial attention 模块，能够在空间维度学习不同尺度和不同空间位置的权重，达到 scale-robust 特征融合

DBNet++ 和 DBNet 的关联：

第一点，DBNet++ 在 DBNet 的基础上引入了 ASF 模块，加强分割网络中不同尺度特征的融合
第二点，DBNet++ 将 DBNet 中的理论分析更完善化了

DBNet++ 的贡献：

联合优化分割网络的 DB 模块，能够获得更加鲁棒的结果并提升文本检测的效果
在 infer 过程中，DB 模块可以被移除且对最终效果没有明显的影响，故在 infer 过程中不会带来额外的时间消耗
ASF 模块能够给分割网络引入更鲁棒的特征
DBNet++ 在多个文本检测数据集上达到了 SOTA 的效果，包括水平、多方向旋转、弯曲形状等

在这里插入图片描述

二、方法

DBNet++ 的总体框架结构如图 3 所示：

首先，将图像输入金字塔形式的 backbone 中
然后，将金字塔特征图上采样到相同大小，并输入 ASF 模块，得到特征图 $F$
之后，将 F 用于预测 probability map $P$ 和 threshold map $T$ ，并使用 $P$ 和 $T$ 计算得到 approximate binary map $\hat{B}$
训练时，同时监督 $P$ 、 $T$ 和 $\hat{B}$ ， $P$ 和 $\hat{B}$ 共享监督信号，都使用生成的 probability map label 作为监督信号
推理时，可以通过 box formation process 的方式从 $P$ 或 $\hat{B}$ 中来得到文本框

2.1 Adaptive Scale Fusion (ASF) 模块

不同尺度的特征图可以看做是从不同角度和感受野得到的特征图，所以如何融合不同尺度的特征图来得到文本区域是很重要的。

比如，浅层特征或大尺度的特征图可以看到更多的细节信息和小的文本实例，深层特征或小尺度的特征图可以看到大尺度的文本实例并且捕捉到全局信息。

为了更好的利用不同尺度的特征图，特征金字塔或 U-Net 结构在分割网络中使用的比较广泛

ASF 模块为了更好的融合不同尺度的特征，没有使用简单相加的方式，而是让网络自己选择不同尺度和不同位置特征的重要性，对特征进行动态的聚合。

ASF 模块的结构如图 4 所示：

首先，将不同尺度的特征图缩放到相同大小，然后输入 ASF 模块中，假设输入 ASF 模块的特征图包括 N 组特征图 $X\in R^{N \times C \times H \times W}=\{X_i\}_{i=0}^{N-1}$ ，其中 N=4，也就是包括下采样 4/8/16/32 倍的特征图共 4 组，如图 3 所示。
然后，将经过尺度缩放的特征图 $X$ concat 起来，经过 3x3 卷积，获得中间特征 $\in R^{C \times H \times W}$
接着，在中间特征 $S$ 上使用 spatial attention 模块，在 spatial attention 模块中，首先将 $S$ 的所有通道的每个点进行 avg pooling，然后使用 conv-Relu + conv-Sigmoid 的方式，对每组特征图得到 $\times H \times W$ 的特征图，对于一个 batch 就是会得到 $\in R^{N \times H \times W}$ 的特征图，作为 attention weights，也就是每个位置都会有一个权重，让网络学习到每个位置的重要程度。
最后，将 $\in R^{N \times H \times W}$ 乘到对应的中间特征 $S$ 上去，得到加权后的特征图 $\in R^{N \times C \times H \times W}$

Scale Attention 定义如下：

在这里插入图片描述

2.2 Binarization

标准二值化（Standard Binarization）和可微二值化（Differentiable Binarization）的函数曲线如图 5a 所示，标准二值化在 0 处是不可微的。

在这里插入图片描述

1、标准二值化

给定从分割网络得到的 probability map $\in R^{H \times W}$ ，将其二值化后，就会得到只包含 0 和 1 的二值化图，其中，0 表示背景，1 表示有效的文本区域，标准二值化过程如下：

在这里插入图片描述

t 是阈值
P 是 probability map 也就是分割结果

2、Differentiable binarization

如公式 1 所示的标准二值化是不可微的，所以不能和分割网络一起来训练，所以，本文作者提出了一个二值化的近似形式：

在这里插入图片描述

$\hat{B}$ 是近似的二值图
T 是从网络中学习到的 adaptive threshold map，P 是预测的分割特征图
k 是一个增强因子，设定为 50
该近似的二值化函数和标准的二值函数类似，但可微，就可以随模型一起训练

标准二值化和可微二值化的区别：

标准二值化：二值化后的特征图非 0 即 1
可微二值化：二值化后的特征图包括 [0, 1] 中的所有值，也就是当分割 probability map 和动态阈值图 threshold map 的差距在约 (-0.1, 0.1) 内时，二值化后的图在这些位置的值处于 0~1 之间，当 P - T > 0.1 时，二值化后的图在这些位置的值为 1，当 P - T < -0.1 时，二值化后的图在这些位置的值为 0（0.1 这个数值是从图 5a 中大概估计出来的）。
也就是说两者的差别主要发生在 P 和 T 特征值相差很小的位置上，

DB 能够提升模型效果的原因可以用梯度的反向传播来解释，以二值化交叉熵 loss 为例。

在这里插入图片描述

positive label 的 loss $l_{+}$ 和 negative label 的 loss $l_{-}$ 如下：

在这里插入图片描述
segmentation loss：

在这里插入图片描述

定义 DB 函数为： $\frac{1}{1+e^{-kx}}$

其中， $x = P_{i,j}-T_{i,j}$

在这里插入图片描述

包含 DB 的 loss 微分如下：

在这里插入图片描述

考虑激活函数 sigmoid：

在这里插入图片描述

激活后的梯度如下：

在这里插入图片描述

从图 6 可以看出，当错误的预测距离边界较近的时候，DB 能够增强梯度反向传播，能够让模型更关注于优化那些模棱两可的区域，此外 sigmoid 激活函数能够缓解最低上限和最大下限，DB 能够进一步降低对极值的惩罚。

在这里插入图片描述

2.3 Adaptive Threshold

threshold map 是否有监督信号得到的结果如图 7 所示，当有监督信号的时候，就有高亮清洗的文本边界，这说明 border-like threshold map 有利于最终的结果。所以，作者给 threshold map 施加了 border-like 监督信号，然后用 threshold map 来二值化分割结果。

在这里插入图片描述

2.4 Deformable Convolution

为了覆盖到更多的 aspect ratio，作者在 res-18 和 res-50 的 conv3、conv4、conv5 中使用了 3x3 的可变形卷积。

2.5 Label Generation

Label generation 的方法和 PSENet 中一样，给定图像，每个 polygon 区域都被描述为一个分割区域集合：

在这里插入图片描述

n 是顶点的数量，不同数据集中是不同的，ICDAR 2015 中是 4，CTW1500 中是 16

为分割 Label 生成 positive area：

红色线为标注的文本区域
使用 Vatti clipping algorithm [47] 来将 polygon $G$ 收缩为 $G_s$ ，即为蓝色线
收缩的 offset $D$ 是从原始 polygon 的边长 $L$ 和面积 $A$ 通过如下方式得到的：收缩偏移为 $D=\frac{A(1-r^2)}{L}$ ， $r$ 是收缩比例，设定为 0.4

为 threshold map 生成 Label：

首先，将 polygon $G$ 膨胀为 $G_d$ ，使用和上面相同的收缩偏移 D 来进行膨胀，得到绿色线
然后，绿色线和蓝色线中间的区域即为 threshold map 的 label。因为作者认为 $G_s$ 和 $G_d$ 的 gap 是文本区域的边界区域，所以 threshold map 的 label 可以通过计算 G 中距离分割区域最近的距离来得到。
所以，threshold map 的 label 就是下图中的 border-like 的高亮圈

在这里插入图片描述

2.6 Optimization

训练 loss：

在这里插入图片描述

$L_s$ ：probability map 的 loss
$L_b$ ：binary map 的 loss
$L_t$ ：threshold map 的 loss
$\alpha = 1$ ， $\gamma=10$

1、 $L_s$ 和 $L_b$ 的 loss 都使用二值交叉熵，为了平衡正负样本，使用了难例挖掘

在这里插入图片描述

$S_l$ 是正负样本 1:3 的样本集合

2、 $L_t$ 是计算了在膨胀文本多边形区域 $G_d$ 内的 prediction 和 label 的 L1 距离之和

在这里插入图片描述

$R_d$ ：在膨胀多边形区域 $G_d$ 内的像素的索引
$y *$ ：threshold map 的 label

推理过程：

推理的时候，可以使用 probability map 或 approximate binary map 来生成 text bounding boxes，两者生成的很接近。

为了高效，作者使用 probability map 来生成，所以 threshold map 就可以舍弃了。

box 生成包含 3 步：

probability map 首先使用 0.2 的阈值进行二值化
从二值图中得到连接的区域（收缩 text 区域的方式来实现）
使用 offset $D^{'}$ 来进行收缩区域的膨胀， $\frac{A' \times r'}{L'}$ ，其中， $A^{'}$ 是收缩后多边形的面积， $L^{'}$ 是收缩后多边形的周长， $r^{'} = 1.5$

三、效果

文本检测指标 P/R/F 的计算方式具体如下：

首先，得到预测的 pred_polygon（也就是多边形区域的角点坐标，且坐标已经恢复到原图坐标中）
然后，对每个 pred_polygon，计算该 pred_polygon 和其所在的图中的其他所有 gt polygon 的 IoU
接着，如果 IoU>阈值（如0.5），则判定该 pred_polygon 预测正确，预测正确 polygon 的数量 + 1
最后，计算指标，假设一个测试集中，共预测正确了 N 个 polygon：
- Precision = N / pred_polygon 总数
- Recall=N / gt_polygon 总数
- F1 = 2PR/(P+R)

在这里插入图片描述