1.要记住目前创建的几个环境都是进行到什么程度的
newtensorflow在这上面跑通了tensorflow的分布式代码
为了不影响它的正常运转,又新创建了一个环境figtensorflow,但是在运行horovod分布式代码的时候,它会报错,看到有人说升级openmpi到4.0.0可以解决问题的时候,我为了不影响他现有的,再升级了openmpi之后我又重新创建了一个环境叫做tensorflowtry,在里面重新安装了tensorflow,horovod,然后问题就解决了。所以tensorflowtry是最终horovod分布式代码运行成功的产物。
2.看到有说tensorflow的timeline可以看到进程间的通信,可以试着了解下,这样通信会更直观。