思路:
在我们训练模型的时候如果训练数据集过于大,系统可能会报“out of memory”的错误,这时候需要我们减小数据集,也就是将npy文件变小。主要方法就是把npy文件转化成numpy数组并截取。
举例如下:
import numpy as np
pre_train=np.load("train_ims.npy",allow_pickle=True,encoding="latin1")
slice=pre_train[:2900]
print(slice.shape)
np.save('newtrain_ims.npy',slice)
我们原来的npy转化成numpy数组的维度是(29000,36,2048)
截取后slice的维度变为(2900,36,2048)
然后存储为新的npy文件继续进行训练。