python三维数据增强_CVPR2020场景文字数据增强（纯python实现）

CVPR2020论文：

Learn to Augment: Joint Data Augmentation and Network Optimization for TextLearn to Augment: Joint Data Augmentation and Network Optimization for Text Recognition​arxiv.org

C++版本：Canjie-Luo/Text-Image-Augmentation​github.com

本文Python版本https://github.com/RubanSeven/Text-Image-Augmentation-python​github.com

前言

场景文字的数据标注是高成本的，因此很多情况下，我们会遇到数据不足的情况。然而，目前最前沿的文字识别算法都是基于深度学习的，数据的数量和质量很大长度上决定了模型的效果，甚至在数据严重不足的情况下，模型都很难收敛或者过拟合。

本文将介绍一种场景文字的数据增强方法，在一些开源项目和论文中都有使用，原版本是c++实现，对环境有很高的要求，本文用python重写了该方法，速度稍有下降，但是也达到了实时数据增强的效果。

效果演示原图Distort效果图Stretch效果图Perspective效果图

速度优化

本文大部分代码是直接移植的原C++版本，只对生成gen_img中的最耗时的逐像素遍历部分用矩阵操作进行了替代。单张图片耗时从1s降低到

逐像素遍历的实现：

for di in range(h):

for dj in range(w):

# print(ni, nj, i, j)

delta_x = self.__bilinear_interp(di / h, dj / w, self.rdx[i, j], self.rdx[i, nj],

self.rdx[ni, j], self.rdx[ni, nj])

delta_y = self.__bilinear_interp(di / h, dj / w, self.rdy[i, j], self.rdy[i, nj],

self.rdy[ni, j], self.rdy[ni, nj])

nx = j + dj + delta_x * self.trans_ratio

ny = i + di + delta_y * self.trans_ratio

nx = min(src_w - 1, max(0, nx))

ny = min(src_h - 1, max(0, ny))

nxi = int(nx)

nyi = int(ny)

nxi1 = math.ceil(nx)

nyi1 = math.ceil(ny)

dst[i + di, j + dj] = self.__bilinear_interp(ny - nyi, nx - nxi,

self.src[nyi, nxi],

self.src[nyi, nxi1],

self.src[nyi1, nxi],

self.src[nyi1, nxi1]

)

矩阵运算的实现：

di = np.reshape(np.arange(h), (-1, 1))

dj = np.reshape(np.arange(w), (1, -1))

delta_x = self.__bilinear_interp(di / h, dj / w,

self.rdx[i, j], self.rdx[i, nj],

self.rdx[ni, j], self.rdx[ni, nj])

delta_y = self.__bilinear_interp(di / h, dj / w,

self.rdy[i, j], self.rdy[i, nj],

self.rdy[ni, j], self.rdy[ni, nj])

nx = j + dj + delta_x * self.trans_ratio

ny = i + di + delta_y * self.trans_ratio

nx = np.clip(nx, 0, src_w - 1)

ny = np.clip(ny, 0, src_h - 1)

nxi = np.array(np.floor(nx), dtype=np.int32)

nyi = np.array(np.floor(ny), dtype=np.int32)

nxi1 = np.array(np.ceil(nx), dtype=np.int32)

nyi1 = np.array(np.ceil(ny), dtype=np.int32)

dst[i:i + h, j:j + w] = self.__bilinear_interp(np.tile(np.expand_dims(ny - nyi, axis=-1), (1, 1, 3)),

np.tile(np.expand_dims(nx - nxi, axis=-1), (1, 1, 3)),

self.src[nyi, nxi],

self.src[nyi, nxi1],

self.src[nyi1, nxi],

self.src[nyi1, nxi1]

)