1、pip install pytorch-fast-transformers 阶段存在error:
ERROR: Could not build wheels for kenlm, which is required to install pyproject.toml-based projects
尝试手段:
1)VS中下载生成工具,C++桌面开发相关依赖包(我的环境下无法实现)
在许多博客中都建议我们安装VS中的C++生成工具 ,但多次尝试后仍无法成功pip成功(甚至因为下载内存不够购买了硬盘)。
2)更换cuda版本(成功解决)
在win上我的电脑,解决该问题通过更换cuda版本成功解决。
3)下载g++
因为后续老师让我在linux上配一个相同的实验环境,在本次中cuda为11.7仍然报错,追溯报错信息发现g++可能被本次下载依赖,通过首先安装g++依赖后,即可下载成功
sudo apt-get install build-essential
pip install pytorch_fast_transformers
其他问题解决:
更换到运行我所遇到的错误:
1、cuda11.6 会出现cuDNN error: CUDNN_STATUS_NOT_INITIALIZED, 无法调用卷积层;
解决:更换版本,该错误在服务器上发现,猜想是cuda最高支持与所下载的pytorch的cuda版本不匹配
2、cuda11.7会出现ImportError: DLL load failed while importing XXX 也是关于fast_transformers的。
解决:在更换了cuda版本后,该问题可以尝试下载以前的版本,或者在Pycharm的配置中输入:
CONDA_DLL_SEARCH_MODIFICATION_ENABLE=1
3、最后下载cuda11.8后,可能会出现libstdc++.so.6: version `GLIBCXX_3.4.22',
解决:如果该错误的路径来源为下载安装的库,比如时pandas库出现该错误,则可能切换版本,1.4.9换到了1.5.4,问题成功解决。