keras 实验细节分析

最近在训练imagenNet 数据集，在使用keras 训练时需要多GPU 训练。因此我使用了keras 里面的多GPU训练，在训练的时候不管使用几个GPU发现速度并没有提升多少，然后我查看了GPU使用情况，发现第一个GPU占用率最大。其他的你说他没有运行吧，它也在运行使用率都是个位数。这时候，我发现这才是导致训练的时间没有变化的原因。因此我找了很多方法，各种动态调试。最后我发现解决这个问题的办法竟然时keras tensorflow 的版本问题。我原来使用了tensorflow 1.14.0版本，然后我降低到1.13.0.整个网络速度就提上去了。

最后我发现出现这个问题，应该时tensorflow 版本和机器本身的cuda 版本兼容的问题导致的。当然我这是其中一个办法，如果大家在实验了各种代码调试以后，还是不行的话。可以试试其他的版本。