Abstract
Introduction
对于提升鲁棒性,几何增强是一种重要的方式。普众的几何增强方式有旋转、缩放、透视变换。这种变换方式一般是将多个字符看作一个整体,忽视了每个字符的多样性。对于一张文本图像,增强的目标应该是增加每个字符的多样性。其次,随机增强这种策略,忽略了样本之间的差异和网络的优化过程。在人工控制静态分布的情况下,增强操作可能会产生对训练无用的简单样本。因此静态分布下的随机增强也不适合动态优化过程。
针对类似序列的字符,提出了新的数据增强方式,彻重于对图像进行空间变换。我们首先在图像上初始化一组基准点,然后移动这些点来生成新的图像。移动状态是从代理网络的预测分布中采样的,它表示点的移动以创建更难的训练样本。然后,增强模块将运动状态和图像作为输入,生成新的图像。我们采用基于移动最小二乘法[35]的相似性变换来生成图像。此外,还将随机运动状态馈送到增强模块以生成随机增强图像。最后,智能体从增加识别难度的运动状态中学习。难度是在编辑距离的度量下衡量的,编辑距离与识别性能高度相关。
Methodology
Overall Framework
首先,我们初始化图像上的一组自定义基准点。将代理网络预测的移动状态和随机生成的移动状态反馈给增强模块。移动状态表示一组自定义基准点的移动。然后,增强模块将图像作为输入,分别对运动状态进行变换。识别器预测放大图像上的文本串。最后,我们测量在编辑距离度量下的增强图像的识别难度。代理从增加难度的移动状态中学习,并探索识别器的弱点。结果,识别器从难训练样本中获得了鲁棒性。
Text Augmentation
如图3所示,我们将图像平均划分为N个块,并沿图像顶部和底部边界初始化2(N+1)个基准点p。在此之后,我们通过遵循一定的分布并将基准点随机移动到半径R内的Q来增强图像。
Learnable Agent
我们将寻找较硬失真样本的问题描述为一个运动学习问题。如图3所示,给定一幅图像,我们随机移动基准点以扭曲图像。每个基准点的移动运算(∆x,∆y)与两个因素有关:1)移动方向,即(∆x,∆y)的符号;2)移动距离,即(|∆x|,|∆y|)。在我们的实践中,距离的学习过程并不能收敛。对于代理网络来说,很难精确地学习运动的距离。另一个有趣的观察是,失败的代理网络总是预测最大移动距离,以产生过度扭曲的样本,这降低了识别器训练的稳定性。因此,我们将学习空间限制在运动方向上。根据移动方向,在半径范围内随机生成移动距离。它避免了代理网络预测繁琐的运动,因为随机性在增强过程中引入了不确定性。此外,可以将代理网络设计为轻量级的体系结构。
如表1所示,代理网络仅由六个卷积层和一个完全连接层组成。代理网络的存储需求小于15M