CVPR2020论文:
Learn to Augment: Joint Data Augmentation and Network Optimization for TextLearn to Augment: Joint Data Augmentation and Network Optimization for Text Recognitionarxiv.org
C++版本:Canjie-Luo/Text-Image-Augmentationgithub.com
本文Python版本https://github.com/RubanSeven/Text-Image-Augmentation-pythongithub.com
前言
场景文字的数据标注是高成本的,因此很多情况下,我们会遇到数据不足的情况。然而,目前最前沿的文字识别算法都是基于深度学习的,数据的数量和质量很大长度上决定了模型的效果,甚至在数据严重不足的情况下,模型都很难收敛或者过拟合。
本文将介绍一种场景文字的数据增强方法,在一些开源项目和论文中都有使用,原版本是c++实现,对环境有很高的要求,本文用python重写了该方法,速度稍有下降,但是也达到了实时数据增强的效果。
效果演示原图
Distort效果图
Stretch效果图
Perspective效果图
速度优化
本文大部分代码是直接移植的原C++版本,只对生成gen_img中的最耗时的逐像素遍历部分用矩阵操作进行了替代。单张图片耗时从1s降低到
逐像素遍历的实现:
for di in range(h):
for dj in range(w):
# print(ni, nj, i, j)
delta_x = self.__bilinear_interp(di / h, dj / w, self.rdx[i, j], self.rdx[i, nj],
self.rdx[ni, j], self.rdx[ni, nj])
delta_y = self.__bilinear_interp(di / h, dj / w, self.rdy[i, j], self.rdy[i, nj],
self.rdy[ni, j], self.rdy[ni, nj])
nx = j + dj + delta_x * self.trans_ratio
ny = i + di + delta_y * self.trans_ratio
nx = min(src_w - 1, max(0, nx))
ny = min(src_h - 1, max(0, ny))
nxi = int(nx)
nyi = int(ny)
nxi1 = math.ceil(nx)
nyi1 = math.ceil(ny)
dst[i + di, j + dj] = self.__bilinear_interp(ny - nyi, nx - nxi,
self.src[nyi, nxi],
self.src[nyi, nxi1],
self.src[nyi1, nxi],
self.src[nyi1, nxi1]
)
矩阵运算的实现:
di = np.reshape(np.arange(h), (-1, 1))
dj = np.reshape(np.arange(w), (1, -1))
delta_x = self.__bilinear_interp(di / h, dj / w,
self.rdx[i, j], self.rdx[i, nj],
self.rdx[ni, j], self.rdx[ni, nj])
delta_y = self.__bilinear_interp(di / h, dj / w,
self.rdy[i, j], self.rdy[i, nj],
self.rdy[ni, j], self.rdy[ni, nj])
nx = j + dj + delta_x * self.trans_ratio
ny = i + di + delta_y * self.trans_ratio
nx = np.clip(nx, 0, src_w - 1)
ny = np.clip(ny, 0, src_h - 1)
nxi = np.array(np.floor(nx), dtype=np.int32)
nyi = np.array(np.floor(ny), dtype=np.int32)
nxi1 = np.array(np.ceil(nx), dtype=np.int32)
nyi1 = np.array(np.ceil(ny), dtype=np.int32)
dst[i:i + h, j:j + w] = self.__bilinear_interp(np.tile(np.expand_dims(ny - nyi, axis=-1), (1, 1, 3)),
np.tile(np.expand_dims(nx - nxi, axis=-1), (1, 1, 3)),
self.src[nyi, nxi],
self.src[nyi, nxi1],
self.src[nyi1, nxi],
self.src[nyi1, nxi1]
)