GPU利用率低的优化一例

在使用tensorflow-gpu进行神经网络训练时，发现GPU的内存占用很高，但GPU的使用率很低，如下图：

 

经过查阅百度，发现有很多技巧来提高GPU的利用率，可是对于新手来说有些难，有些复杂，通过观察log的信息，发现周期性的出现时间上的卡顿（慢），再审查代码，发现log体现的变慢的周期与我存储模型检查点的周期一致，因此猜测，检查点文件由CPU来进行存储操作，而这个时间GPU在等CPU处理完毕，将检查点保存的周期加长，GPU使用情况如下图：

GPU使用率大大提高。