Julse的博客

问题：GPU利用率低下， 307MiB / 32510MiB尝试解决增加batch_size 也没有效果，超过某个数就内存溢出了==》 说明非batch_size 过小导致这个问题如果在一块卡上再启动一个进程来训练模型，只能再叠加一个305Mib，并且程序在运行中可能出现内存溢出问题五折交叉验证的时候，第一折跑完了，跑第二折的时候，内存溢出，是因为前面训练时占用的内存没有释放掉。可能是由于代码首部指定的使用GPU的方式引起的指定GPU训练模型这是组里祖传的代码，不修改代码的情况下，直接在

tensorboard = tf.keras.callbacks.TensorBoard(log_dir=self.log_dir, histogram_freq=1)callbacks = [ # This callback saves a SavedModel every epoch # We include the current epoch in the folder name. keras.callbacks.Model

单机多卡，多机多卡的使用方式官方教程 ：https://keras.io/guides/distributed_training/#singlehost-multidevice-synchronous-training教程主要内容分布式计算有两种，一种是数据并行，一种是模型并行数据并行只需要修改少量代码模型比较简单的话，并行数据即可数据并行原理和实现这里讨论数据并行实现原理一个batch_size的数据分配到多个设备上面每个设备独立计算，直到分配的数据计算完毕合并各个设备上的模型