Keras学习︱训练时显存out of memory的解决办法——fit_generator函数

版权声明:作者:Britesun 欢迎转载,与人分享是进步的源泉! https://blog.csdn.net/qq_34807908/article/details/82021718

keras默认情况下用fit方法载数据,就是全部载入。换用fit_generator方法就会以自己手写的方法用yield逐块装入
问题描述:建立好model之后,用model.fit()函数进行训练,发现超出显存容量
问题分析:fit()函数训练时,将全部训练集载入显存之后,才开始分批训练。显然很容易就超出了显存容量
解决办法:用fit_generator函数进行训练

fit_generator函数将训练集分批载入显存,但需要自定义其第一个参数——generator函数,从而分批将训练集送入显存

def data_generator(data, targets, batch_size):
    batches = (len(data) + batch_size - 1)//batch_size
     while(True):
         for i in range(batches):
              X = data[i*batch_size : (i+1)*batch_size]
              Y = targets[i*batch_size : (i+1)*batch_size]
              yield (X, Y)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

调用fit_generator时的方法

model.fit_generator(generator = data_generator(X_train, Y_train, batch_size),
                    steps_per_epoch = (len(data) + batch_size - 1) // batch_size,
                    epochs = num_epochs,
                    verbose = 1,
                    callbacks = callbacks,
                    validation_data = (X_val, Y_val)
)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
展开阅读全文

没有更多推荐了,返回首页