Keras 读取大规模的数据集--编写自己的generator
在使用keras的model.fit(x, y)训练模型时,需要全部加载训练的数据,如果数据较小时(如mnist数据集),加载全部的数据没什么问题,但是当自己的数据集很大时(如10G),全部加载数据可能会导致内存溢出,或者仅仅加载数据就需要用了很多等待时间,这样对使用Keras做实验非常不方便。当然,keras也提供另外的训练接口model.fit_generator,然后该方法的...
原创
2019-08-07 17:48:03 ·
3720 阅读 ·
1 评论