weixin_43441566的博客

HuggingFace 的 accelerate 库可以实现只需要修改几行代码就可以实现ddp训练，且支持混合精度训练和TPU训练。(甚至支持deepspeed。accelerate支持的训练方式为CPU/单GPU (TPU)/多GPU(TPU) DDP模式/fp32/fp16等。

参考https://www.jianshu.com/p/1d09e56abbf8

使用 anaconda 时，当 base 环境的 jupyter 可以用而自己创建的虚拟环境报出以下错误时import win32apiImportError: DLL load failed while importing win32api: 找不到指定的模块。很有可能是 pywin32 版本过高。这时在 anaconda 中输入pip install --upgrade pywin32==225降低pywin32版本即可。...

想要编译，且不安装到环境中去，可以。

conda remove -n [env-to-remove] --all # --all会删除虚拟环境包含的所有的包

深度学习的硬件环境要求很高，自己电脑的配置不高，有时就需要连接服务器之类的使用。而服务一般布置在内网里面，可以在内网中通过网络协议访问，但是访问外网却很恼火，所以有时需要在本地传文件给服务器。比较麻烦的是给服务器安装conda环境，一个一个传.whl文件效率太低，这里介绍一种打包conda环境的方法。将本地环境打包首先在base环境下安装Conda Pack pip install conda-pack然后执行以下命令conda pack -n [my_env] -o [out_name].ta

Ubuntu 18.04 安装CUDA和cuDNN