使用gpu训练tensorflow模型

最好的资料就是官方文档，tf中已经在tf.distribute.Strategy中实现了常用使用方式，如单机单卡，单机多卡，多级多卡等，经过简单配置即可实现。

• 单gpu怎么使用？
• 多gpu也么使用？
• tf.estimator中如何使用多gpu?
• keras中如何使用多gpu?
• gpu的型号和选择方法？
• 如何设置使用几个cpu？
• mnist使用例子https://tensorflow.google.cn/tutorials/distribute/keras?hl=en
• tf官网给出了bert的多gpu实现，用的是custom loop的实现方式。

在代码中用多gpu跑了mnist。

• 多gpu反而慢了？训练5轮，1个gpu用了25秒，2个gpu反而用了36秒。1个gpu的batch_size为10时，2个gpu的batch_size应该设为20，速度就符合预期了。
• 多gpu的batch_size需要设为单个的N倍。
• keras如何设置显存为动态申请？https://www.cnblogs.com/wuliytTaotao/p/12016656.html