keras.utils.Sequence生成数据

keras.utils.Sequence

昨天写了用multiprocessing.Pool的多进程加载数据和yield生成数据送入model.fit_generator里面训练→multiprocessing.Pool。今天试着用keras.utils.Sequence基类构建一个数据生成器，其数据加载的速度和用multiprocessing.Pool差不多。
Sequence是进行多进程处理的更安全的方法。这种结构保证网络在每个时期每个样本只训练一次，这与生成器不同。每一个 Sequence 必须实现 getitem 和 len 方法。
如果你想在迭代之间修改你的数据集，你可以实现 on_epoch_end。
getitem 方法应该范围一个完整的批次。
使用keras.utils.Sequence处理数据可以调用model.fit_generator里面的use_multiprocessing=True, workers=Numprocess,而上一篇文章的数据加载方法不能调用。
下面基于图像分类任务用keras.utils.Sequence 加载数据feed到model.fit_generator中训练的代码，可以上一篇文章中给的代码，进行速度对比一下

import keras
import cv2
import numpy as np


class Dataloader(keras.utils.Sequence):
    def __init__(self, filepath, batchsize, img_shape=(224, 224)):
        self.lines = open(filepath).re