被安利了很久说2080ti下使用fp16可以提速而且几乎不影响效果,所以今天试着弄了一下,整体感觉是显存占用少很多,速度比较快,但是还是会影响准确度,而且一些非官方提供的模块使用起来不方便(因为不支持fp16)。这里记录一下安装过程和详细的使用体验,毕竟我金鱼记忆。
1. 配置apex
使用fp16,官方推荐用apex包。在安装apex时需要注意driver和cuda版本对应,不然可能会报错(顺便唠叨一句,以前感觉driver和cuda版本不对应影响不大,程序照样可以跑,但最近发现配置很多环境出错是它们版本不对应造成的)。然后按照apex官方提供的安装过程安装https://github.com/NVIDIA/apex。为了不影响速度,我选用了“installing Apex with CUDA and C++ extensions”,在conda环境下配置了pytorch1.0,我截的安装过程:
$ git clone apex
$ cd apex
$ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" .
注意:pip install命令最后的“.”不要漏掉,这个表明在当前环境下操作。
遇到的错误:
(1)好象是cuda版本和driver版本不对应造成的,改了cuda后就可以了。(记得还要装对应cuda版本的pytorc