FrankDura的博客

数据并行 Data Parallelism每块GPU上都有完整的模型（每个GPU上的模型参数是一样的）。将原来的训练数据切分为多份，分别投喂到每个GPU上的模型。每个GPU并行运行，随后进行模型的梯度汇总更新以及不同GPU的通信/状态同步。模型并行 Model Parallelism模型并行就是：我们把模型切分，分布在不同的GPU上，随后将完整的数据送到这些切分后的不同模块中进行运算，最后将运算结果进行合并。模型切分： 我们知道一个网络有不同的层，我们可以将网络层切割分布到不同的GPU上。事实上，

综述Ubuntu GPU及内存资源监控步骤GPU监控：watch -n0.1 nvidia-smi内存等其他硬件监控。安装：sudo apt-get install htop使用：htop

综述今天偶遇一个问题，就是我的cuda是10.0，之前还可以运行，今天突然在运行python时候告诉我 cuda.is_available是False。查了一下，原因是因为我的显卡驱动版本太低。381的，我应该使用410及以上的。解决方法打开system settings在software&updates中点击additional divers这里会出现所有的驱动。选择我们...

综述因为显卡版本问题我准备换cuda9.0因此需要卸载cuda10.1步骤cd /usr/local/cuda/binsudo ./cuda-uninstaller删除即可

综述这个东西，坑太多了。找了很多教程，重装系统3遍。终于ok了。环境带独显，Ubuntu16.04 安装cuda10.1传送ubuntu16.04 安装 CUDA 10.0最新详细教程（显卡是Tesla V100）就看这个就够了！...

出现问题：no matches found: nvidia-*解决方案：sudo apt-get purge "nvidia*"

UBuntu16配置Nvidia 驱动循环登录问题：https://blog.csdn.net/ssmixi/article/details/73483795

综述Ubuntu分辨率只有一个分辨率当然xrandr也没法修改看上去很难受解决方法sudo apt install nvidia-cuda-tookit