在TF.DATASET和keras的ImageDataGenerator中应用CV2完成复杂图像处理

前言

在深度学习的实际工作和比赛中，对于小规模数据集我们可以采用运用opencv的各种操作处理，然后全部读取到内存中再传入tf.data.dataset的pipline完成数据读取（tf.data.dataset的预处理在一般情况只支持TF预置的一些简单图像操作）。但是在大规模数据集中，这种是方案需要大量消耗内存，对于我们这种平民玩家是不可行的方案。对于这种情况，有两个解决方法（是我个人常用的两种框架tensorflow与keras）：

• 第一个是tf.data.dataset中使用tf.py_func函数来实现opencv中的一些复杂处理。
• 第二种是参考keras中的ImageDataGenerator文档，编写自己的图像数据生成器。

tf.data.dataset的实现

考虑一个我打比赛实例，一个kaggle的多分类比赛（https://www.kaggle.com/c/aptos2019-blindness-detection/kernels。

• 因为数据提交时需要验证一个30K的图片集，所以我们必须使用批量读取来训练模型。
• 这次比赛中我们想使用图片的纹理来进行训练，最好和快速的方法是使用opencv处理。
• 在TF.DATA.DATASET中有tf.py_func中来实现额外的CV2操作。

以上是我处理的基本思路，接下来直接上代码：

   #预处理部分，用py_func函数包装起来
   #filename是图片位置
    def _read_py_function(filename, label):
        train_img=[]
        radius = 1  # LBP算法中范围半径的取值
        n_points = 8 * radius # 领域像素点数
        img = cv2.imread(filename.decode(),cv2.IMREAD_UNCHANGED)#读图片，可以说各种借口中CV2的读取速度最快
        img = cv2.resize(img,(224,224))
        img