conda搭建复现需要的pytorch环境

前提:复现DialogXL,搭建需要的pytorch环境
环境:Python 3.6
PyTorch 1.4.0
Transformers 4.3.3
scikit-learn 0.23.1
CUDA 10.0
云服务器:AutoDL(自带miniconda,此教程省略conda安装和环境配置)

1. 初始化conda

使每次ssh服务器后直接进入base环境而不用source activate
在这里插入图片描述
输入conda init初始化conda
在这里插入图片描述
关闭服务器,重启服务器后见下图界面
在这里插入图片描述

2. 创建虚拟环境

我们需要的python版本是3.6,因此创建虚拟环境同时指定python版本,命令为:
conda create-n "自定义环境名" python="指定版本"
在这里插入图片描述

3.安装torch

因为我们安装的过往版本,因此查看以前版本的安装命令在https://pytorch.org/get-started/previous-versions/
在这里插入图片描述
使用conda安装时可能此处会遇到两个问题!!

  1. -c pytorch 导致下载速度极慢
  2. 可能报错找不到对应版本

解决方案如下:
3. 使用pip安装(注意一定要升级pip到最新版本!!)
在这里插入图片描述
pip install --upgrade pip
pip install torch==1.4.0 torchvision==0.5.0
在这里插入图片描述
5. conda添加国内镜像源(conda同样也要升级到最新版本!)

conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels http://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --set show_channel_urls yes
conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.0

4.验证

在这里插入图片描述

问题

配置了https://github.com/shenwzh3/DialogXL作者开源的代码和环境,但是运行时会出现各种包错误,尤其是transformers的4.3版本中还是缺少某些函数。
经过多方面排查,环境配置上并不兼容,因此解决方案是,不需要指定版本,直接安装默认版本下的pytorch和torchvision。

conda create -n py37 python=3.7
pip install torch torchvision

发现之前transformer报错的问题全部解决,程序成功运行。另外,该环境也能运行大多数对话情感分析对比模型(2022年前的其他部分端到端模型)

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值