在Linux上用GPU跑代码遇到的问题(杂七杂八)

一、深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析

https://blog.csdn.net/qq_32998593/article/details/92849585
总结相当到位，很有用！！

二、查看GPU使用情况

查看GPU目前运行状况：

nvidia-smi

每隔5秒刷新一次GPU使用情况：

`watch -n 5 nvidia-smi`

三、tensorflow与python版本对应

Linux:
CPU

GPU

四、keras和tensorflow的版本对应关系

我在Windows上跑代码跑的好好的，但是显存不够，所以在另一台linux系统的机器上跑，发现了这个问题，如果你和我一样遇到了同样的问题，来这里看两者的对应关系！！！

五、Pytorch distributed RuntimeError: Address already in use

跑Swin transformer时遇到的问题！
解决：
在启动分布式训练时，加上端口号（任意）即可解决：

CUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.launch --nproc_per_node=2  --master_port 29501  main.py

参考博文：
Pytorch distributed RuntimeError: Address already in use