前提:复现DialogXL,搭建需要的pytorch环境
环境:Python 3.6
PyTorch 1.4.0
Transformers 4.3.3
scikit-learn 0.23.1
CUDA 10.0
云服务器:AutoDL(自带miniconda,此教程省略conda安装和环境配置)
1. 初始化conda
使每次ssh服务器后直接进入base环境而不用source activate
输入conda init
初始化conda
关闭服务器,重启服务器后见下图界面
2. 创建虚拟环境
我们需要的python版本是3.6,因此创建虚拟环境同时指定python版本,命令为:
conda create-n "自定义环境名" python="指定版本"
3.安装torch
因为我们安装的过往版本,因此查看以前版本的安装命令在https://pytorch.org/get-started/previous-versions/
使用conda安装时可能此处会遇到两个问题!!
- -c pytorch 导致下载速度极慢
- 可能报错找不到对应版本
解决方案如下:
3. 使用pip安装(注意一定要升级pip到最新版本!!)
pip install --upgrade pip
pip install torch==1.4.0 torchvision==0.5.0
5. conda添加国内镜像源(conda同样也要升级到最新版本!)
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --set show_channel_urls yes
conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.0
4.验证
问题
配置了https://github.com/shenwzh3/DialogXL作者开源的代码和环境,但是运行时会出现各种包错误,尤其是transformers的4.3版本中还是缺少某些函数。
经过多方面排查,环境配置上并不兼容,因此解决方案是,不需要指定版本,直接安装默认版本下的pytorch和torchvision。
conda create -n py37 python=3.7
pip install torch torchvision
发现之前transformer报错的问题全部解决,程序成功运行。另外,该环境也能运行大多数对话情感分析对比模型(2022年前的其他部分端到端模型)