在使用transformers时,在调用Trainer的时候遇到了这个问题,原因是apex包有问题,
这里有解决apex安装包的多一些教程
https://blog.csdn.net/Xidian185/article/details/122745427
https://blog.csdn.net/weixin_45225975/article/details/119717834
https://www.jb51.net/article/254123.htm
https://blog.csdn.net/m0_46378271/article/details/121017309
基本都是一个意思,下载到本地再安装,但是不论是直接下载还是按上述方法,也不管是第三行命令用的是pip install -v --no-cache-dir ./
还是python setup.py install --cpp_ext --cuda_ext,都会遇到如题这个问题。解决办法如下:
如果原来有apex,需要先卸载掉
1、git clone git://github.com/NVIDIA/apex
2、cd apex/apex/transformers/pipline_parallel
将下面的utils.py 文件的第23行的import amp_C 给注释掉,保存。
3. pip install -v --no-cache-dir ./
这样安装成功后即可使用。