weixin_45914748的博客

在反向传播时...，使用DataParallel时，数据的使用是并行的，每张卡获得的数据都一样多，但是输出的loss则是所有的卡的loss都会在第output_device块GPU进行计算，这导致了output_device卡的负载进一步增加。在反向传播时，每个GPU上的梯度汇总到主GPU上，求得梯度均值更新模型参数后，再复制到其它GPU，以此来实现并行。

apex的安装步骤很简单。以下报错可能在安装其他包时也会遇到，解决方法通用。ImportError: cannot import name ‘packaging’ from ‘pkg_resources’；TypeError: unsupported operand type(s) for +: ‘NoneType’ and ‘str’。这个错误的原因很多，极有可能是cuda或者cudnn未正确安装，或者版本不对（我就是这个原因），做以下尝试...最后成功安装的界面如下

代码从仓库克隆到本地之后，你能在VScode上，看到你对代码的所有修改。点击左侧的源代码管理图标（通常是一个分支的图标）或使用快捷键Ctrl+Shift+G（Windows/Linux）或Cmd+Shift+G（Mac），在“Changes”部分，你可以看到所有未提交的更改，如下图。

array格式，可用cv2.imread读取。OpenCV 提供了几种内置字体，例如 cv2.FONT_HERSHEY_SIMPLEX、cv2.FONT_HERSHEY_PLAIN 等。只需要将函数名替换了即可，替换之后，函数的用法、含义不变。

这通常意味着：你使用的 Pytorch 版本中不存在这个特定的底层C API（即CUDA版本问题），或者你可能错误地使用了Pytorch的API（调用错误）。不是gpu版本，就在python命令后面加上 --gpu_ids -1（gpu_ids原来默认值是0），问题解决。最后可以试试把torch_c改为torch。

1.官网下载想安装的对应版本，然后双击下载的pkg，根据提示一步步安装即可，几乎没有需要另外修改的地方。2.一开始我输入“python”终端显示command not found，需要对python路径进行配置。打开.bash_profile，如果shell为zsh就打开.zshrc（后面均以.bash_profile为例说明了）。配置完成后source激活一下，最后重启一下终端就能找到python了。

明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。

pip install simpleitk 时，出现 ERROR: No matching distribution found for simpleitk;