文字检测算法--Differentiable Binarization

文字检测算法–Differentiable Binarization

Differentiable Binarization

近年来，基于分割的方法在文本检测中备受欢迎。分割算法能够更加准确地描述不同形状的场景文本。对于基于分割方法的检测，将分割算法生成的概率图转换成二值化的处理过程是至关重要的。论文的主要贡献就是提出了DB算法，一个可微的二值化算法，不仅仅简化了二值化处理过程，而且也有助于增强文本检测性能。

大多数基于分割的文本检测算法，设定一个固定的阈值，将分割网络得到的概率图转换成二值图，然后再基于某种启发式技术，比如像素聚类等，将像素分组形成文本实例。DB不同于其他分割文本检测算法，二值图被嵌入分割网络中，联合优化。主要实现形式是：图中的每一个位置的阈值可以被适应性地预测，这样就可以全面性地区分前景和背景。由于标准的二值化函数是不可微分的，不能和分割网络一起优化，因此论文中提出了一个近似模拟二值化函数且可微的可微二值化函数（Differentiable Binarization，DB）。

架构

DBNet 的整体架构如下图所示：

1. 首先，图像被喂入一个feature-pyramid的backbone网络
2. 其次，feature-pyramid向上取样到相同的尺寸，并级联生成输出特征$F$。
3. 再者，特征$F$被用来预测概率图$P$和阈值图$T$。
4. 最后,由$P$和$T$计算出近似二值图$\hat{B}$

SB vs DB

Standard Binarization

给定一个概率图（probability map）$P\in R^{H\times W}$，其中$H$和$W$分别表示概率图的高和宽。二值图（binary map）$B\in R^{H\times W}$中有效文本区域的像素值为1。二值图由概率图生成。对概率图的处理过程如下，设置一个阈值$t$，概率图中$\left(i,j\right)$位置的像素值不小于阈值$t$，那么二值图中相同位置$\left(i,j\right)$上的像素值为1，否则为0。公式如下所示：

$$B_{i,j}=\{\begin{array}{cc}1& if{P}_{i,j}\ge t,\\ 0& otherwise.\end{array}$$

differentiable binarization

上述SB是不可微分的，那么在分割网络训练过程中，SB是不能够被优化的。为了解决这个问题，论文中提出DB方法近似模拟二值化。公式如下所示：

$${\hat{B}}_{i,j}=\frac{1}{1+e^{-k\left(P_{i,j}-T_{i,j}\right)}}$$

其中${\hat{B}}_{i,j}$是二值图，$T$是从网络中学习到的可适应阈值图（adaptive threshold map），$k$是扩大参数，实验验证$k=50$。

DB可以提高性能可以由梯度的反向传播解释。以二值交叉熵损失函数为例。简化DB函数为$f\left(x\right)=\frac{1}{1+e^{-kx}}$，其中$x=P_{i,j}-T_{i,j}$。那么正例标签的loss $l_{+}$和负例标签的loss $l_{-}$定义和其梯度如下：

$$\begin{array}{c}{l}_{+}=-log\frac{1}{1+e^{-kx}}\\ l_{-}=-log\left(1-\frac{1}{1+e^{-kx}}\right)\end{array}\Rightarrow \begin{array}{c}\frac{\sigma l_{+}}{\sigma x}=-kf\left(x\right)e^{-kx}\\ \frac{\sigma l_{-}}{\sigma x}=-kf\left(x\right)\end{array}$$

DB近似模拟SB函数展示的二值化，但是DB是可微的，可以应用到分割模型的训练阶段。
下图是DB和它导数的展示图，如图（a）所示，DB和SB相似，SB在横坐标为0时是断崖式下降，DB在横坐标为0时，有一个坡度。如图（b）和（c）所示，$l_{+}$和$l_{-}$的梯度受参数$k$影响比较大，随着$k$值越大，对大多数错误预测区域$ x < 0 for l_{+} ; x > 0 for l_{-}$，梯度放大显著，这能够帮助优化并且产生更多独特的预测。

标签生成

概率图的标签生成受PSENet影响，假设一个包含文本的图像，它的文本区域的多边形可有片段集合描述 G = { S k } k = 1 n G = \{ S_{k} \}_{k=1}^{n} G={Sk​}k=1n​，其中$n$是多边形顶点的个数。文本有效区域可以通过使用Vatti clipping algorithm缩放多边形$G$到$G_s$生成。缩放的偏移量$D$可以通过原多边形的周长$L$和面积$A$计算得到，公式定义如下：

$$D=\frac{A\left(1-r^2\right)}{L}$$

其中$r$是缩放比率，经验性地设为为0.4。使用类似的策略，我们可以从阈值图中生成标签。首先文本区域$G$使用相同的偏移量$D$膨胀为$G_d$。将$G_d$和$G_s$之间的区域作为文本区域的边界，其中通过计算$G$中最近片段的距离可以生成阈值图的标签。

Loss 函数

损失函数$L$可以看作是概率图损失函数$L_s$，二值图损失函数 $L_b$和阈值图损失函数$L_t$的加权和，根据各个损失函数的数值，分别设$\alpha$和$\beta$为$1.0$和$10$，损失函数$L$定义如下：

$$\begin{array}{c}L=L_s+\alpha \times L_b+\beta \times L_t\\ L_s=L_b={\sum }_{i\in S_l}{y}_{i}log{x}_i+\left(1-y_i\right)log\left(1-x_i\right)\\ L_t={\sum }_{i\in R_d}\Vert y_i^{\ast }-x_i^{\ast }\Vert \end{array}$$

其中$L_s$和$L_b$是二值交叉熵损失函数，为了解决正例和负例的不平衡问题，hard negative mining 被用到BCE中，$S_l$是取样数据集，正例和负例的比率为$1:3$。
$L_t$是预测值和在膨胀文本多边形$G_d$的标签的$L1$函数之和。其中$R_d$是膨胀多边形$G_d$中的像素值的下标集合。$y^{\ast }$是阈值图中的标签值。

推理阶段后处理

在推理阶段，我们可以使用概率图或者近似二值图去生成文本bbox，结果都是一样的。为了更好的效率，我们移除阈值分支，使用概率图去生成文本bbox。整个流程包含三步：

1. 首先，概率图/近似二值图使用一个常量阈值（0.2）二值化得到二值图
2. 从二值图中获得连联通区域（缩放文本区域）
3. 缩放区域通过Vatti clipping algorithm算法，以偏移量$D^{\prime }$膨胀

偏移量$D^{\prime }$的计算公式为：$D^{\prime }=\frac{A^{\prime }\times r^{\prime }}{L^{\prime }}$，其中$A^{\prime }$是缩放多边形的面积，$L^{\prime }$是缩放多边形的周长，$r^{\prime }$按经验设为$1.5$。

实现细节

1. 对训练数据进行增广，包括如下三种方式，增广后的图片resize到$640\times 640$。

   • 以$\left(-10^0,10^o\right)$的角度进行随机旋转
   • 随机剪裁（crop）
   • 随机翻转（flip）

2. 训练时，在训练所有真实数据集之前，先在合成数据集上进行100k迭代的预训练，然后再在各个真实数据集上进行1200 epochs的微调。学习率采用的是poly learning rate policy。

3. 在推理阶段，为每一个数据集设置一个合适的高度，保持测试图片的长宽比并reszie。

参考

1. DB github