在服务器上安装fairseq及其所需环境

已于 2022-10-17 10:23:33 修改
阅读量653 收藏
点赞数
分类专栏： 安装与卸载 深度学习 文章标签： 深度学习 pytorch python
于 2022-08-10 17:37:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ox3f3f3f3f/article/details/126269753
版权

在服务器上安装fairseq及其所需环境

文章目录

创建虚拟环境

conda create -n cvpr_fairseq python=3.8

安装pytorch

到pytorcch官网找到对应版本安装

遇到各种不兼容的情况

首先测试一下：
在这里插入图片描述
没报错就是好了
如果报错了就把虚拟环境删了在装其他版本，一共就几个一个个试
（如果有更好的方法以后再补充）
删除虚拟环境：

conda remove -n cvpr_fairseq --all

安装fairseq依赖

pip install --editable ./
夹谷剑杰.睿.沙福林
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
fairseq transformer训练中的一些问题
DragonBark的博客
09-21 4760
fairseq transformer训练中的一些问题 这两天看fairseq transformer的代码，并在服务器用transformer跑实验。今天遇到一些问题，和师兄进行了一些交流，记录下来。 另一篇梳理nlp中的一些英文名词的还在写，整理好再发布。 transformer中的数据的流向和形式的变化？ 在训练前，数据基本都是以 的形式传入，即 句子数*单词数 的一个矩阵。 假设现...
windows下安装使用fairseq框架
热门推荐
sigmeta的博客
01-07 1万+
最近，Facebook又开源了fairseq的PyTorch版：fairseq-py。大家从最新的文章可以看出，用CNN来做机器翻译，达到顶尖的准确率，速度则是RNN的9倍；同时，Facebook还开放了seq2seq学习工具包fairseq的Torch源代码和已训练的系统。 fairseq-py优势与介绍 fairseq-py包含论文中描述的全卷积模型，支持在一台机器上用多GPU进行训练，以...
机器翻译——fairseq 安装（一）
yc星光
11-17 1万+
1 . Fairseq 简介 Fairseq 是一个用 PyTorch 编写的序列建模工具包，它可以为翻译、摘要、语言建模和其他文本生成任务训练自定义模型。 特点： 多GPU训练 使用多种搜索算法在 CPU 和 GPU 上快速生成 在单个 GPU 上，gradient accumulation可以使用大的小批量进行训练 可扩展：轻松注册新 models , criterions , tasks , optimizers and learning rate schedulers 混合精度训练 fu
Windows下Fairseq及pytorch下载安装（全网最简单最粗暴）
qq_64809150的博客
11-01 3245
暴力安装fairseq，保姆级教程，跟着本文安装，解决所有问题，安装版本：pytorch：2.1.0+cu118fairseq：0.10.2python：3.8.10CUDA：cuda_11.1.1_456.81_win10
在anaconda安装fairseq，并在Jupyter notebook使用
m0_70053624的博客
10-19 1504
法二：在anaconda activate Pytorch3虚拟环境，pip install fairseq，成功安装了fairseq==0.12.2版本，但是无论在命令行还是jupyter notebook都import不了，一直显示ValueError: mutable default for field common is not allowed: use default_factory。
fairseq (Facebook AI Research) 包
最新发布
撒旦先生的博客
06-24 335
最近在看一个用 RNNs 网络做Translation 任务的程序, 关于数据处理部分, 主要用到工具包和fairseq, 前者主要是对文本进行分词处理, 后者则是对已分词的文本进行二进制化和快速加载. 包越方便使用, 就说明包装得越狠, 也就越令人一头雾水, 本文简要记录学习过程.
中标麒麟离线安装nginx所需rpm和源码包
04-01
"中标麒麟离线安装nginx所需rpm和源码包" 指的是在中标麒麟（NeoKylin）操作系统环境下，为了在没有网络连接的情况下安装Nginx web服务器，预先准备的一系列rpm软件包和Nginx的源代码文件。这种离线安装方式适用于...
阿里云linux服务器php环境一键安装包
11-05
阿里云Linux服务器PHP环境一键安装包是为了解决在阿里云平台上快速构建PHP开发环境而设计的工具。这个安装包简化了传统手动配置的过程，集成了PHP、MySQL和Apache等关键组件，使得开发者或者运维人员能够在短时间内...
Windows Server 2012 R2 Datacenter 安装 .NET Framework 3.5 所需文件
12-22
本人Windows Server 2012 R2 Datacenter 内网云服务器，尝试过前辈...使用方法：拷贝至服务器解压，在服务器管理器中添加功能.NET Framework 3.5，在指定源路径时填入sxs文件夹路径。详细请百度。
Wowza服务器安装程序Windows版
09-24
WowzaMediaServer-3.6.2.exe，大小 84MB，截至 20130924 为止，Wowza 官方公布的最新 Windows 下的安装程序。 关于 Wowza 发布直播服务，请参考博客：http://blog.csdn.net/defonds/article/details/11979095。
fasterseq:基于fairseq的更快，更高效的序列建模深度学习算法的实现，例如Lite-Transormer，Reformer，Linformer，注意力机制的有效变体等
03-09
关于FasterSeq 随着物联网和其他移动设备的快速发展，更快，更高效的深度学习技术的部署需要更多的努力。 我创建了这个资料库，以探索和开发最新的加速计算和有效的深度学习技术，以进行更快的序列建模。 我们选择的基础库是 ，它是由Facebook人工智能研究实验室开发和维护的用于序列建模的开源库。 要求和安装 版本> = 1.4.0 Python版本> = 3.6 要训​​练新型号，您还需要NVIDIA GPU和 要安装fairseq并在本地进行开发： git clone https://github.com/pytorch/fairseq cd fairseq pip install --editable ./ # on MacOS: # CFLAGS="-stdlib=libc++" pip install --editable ./ 为了更快地进行培训，请安装NVIDIA的
Dell PowerEdge R820 服务器 安装 server2008 R2 x64缺少所需的 CD/DVD驱动器设备驱动程序。如果您具有软盘...
09-21
在安装Windows Server 2008 R2 x64操作系统时，可能会遇到“缺少所需的CD/DVD驱动器设备驱动程序”的错误提示，特别是在使用Dell PowerEdge R820这样的高性能服务器时。这个问题通常是因为安装过程中，系统无法识别...
Ubuntu+GPU上Debug Torch项目fairseq
Talk Is Cheap
06-03 1923
1，下载并启动zbstudio$ git clone https://github.com/soumith/zbs-torch.git $ cd zbs-torch $ ./zbstudio.sh 2，安装Torch http://torch.ch/docs/getting-started.html3，安装ncclgit clone https://github.com/NVIDIA/n
【安装fairseq出现错误】
weixin_44778973的博客
02-23 4102
安装fairseq出现错误直接使用pip install fairseq出现错误解决方法环境结果 直接使用pip install fairseq出现错误 解决方法 pip install -Iv fairseq==0.10.0 -i http://pypi.mirrors.ustc.edu.cn/simple --trusted-host pypi.mirrors.ustc.edu.cn 指定fairseq的版本 环境 python=3.8.11 conda install pytorch torchvi
linux环境安装fairseq,fairseq的使用
weixin_39553705的博客
05-07 904
使用CGIHTTPService搭建简单网站使用CGIHTTPService搭建简单网站 如何快速搭建web网站？这个问题对于我这样的小白来说简直就是一脸懵逼毫无头绪。在学习python的过程接触到了 CGI 编程，至于CGI是什么？怎么运行的？这我就不道来了，但是它可以让你很方便的搭建起简单的web网站。好了不啰嗦Jenkins使用五创建部署任务Jenkins使用五：创建部署任务 创建部署任务 ...
安装fairseq和遇到版本不匹配问题的解决方法
weixin_43579015的博客
10-29 4122
第二步，安装上一个版本（制定版本安装，上文安装的0.12，如下测试0.11版本是否适配你的代码）使用如下命令重新下载（2022年10月默认下载的fairseq0.12.1版本）如果还不行，就安装fairseq==0.10.1版本，并测试你的代码。就是让其检测延迟的时间变长，以防止因为你的网络问题而直接报错。第一步，卸载当前fairseq。
fairseq-0.12.2多机训练环境搭建
yd778473278的博客
11-13 541
fairseq-0.12.2多机训练环境搭建，其中包括gcc、CUDA、cuDNN、NCCL、Python、PyTorch、fairseq等相关软件在非root环境下安装
linux系统安装fairseq,手把手教你用fairseq训练一个NMT机器翻译系统
weixin_42392054的博客
05-13 2016
以构建英-中NMT为例，在linux上运行，fairseq版本为0.8.0环境准备Requirements：fairseq：pytorch包，包括许多网络结构，https://github.com/pytorch/fairseqmosesdecoder：机器翻译的标准数据处理工具， https://github.com/moses-smt/mosesdecodersubword-nmt：bpe分词...
实习日记（二）：序列建模工具包——Fairseq
可乐的博客
01-17 2491
提示篇：   本篇博客内容较多，建议耐心阅读。 感谢篇：   十分感谢外研在线技术中心算法团队各位老师在我实习期间给予的帮助，好嗨皮的时光，学到了很多东西。【悄悄告诉你们：他们非常耐心 <(￣▽￣)/】 文章目录前言一、Fairseq简介二、Fairseq安装2.1 Fairseq0.9.0版本2.2 Fairseq最新版本（可能会有变化）三、Fairseq命令工具3.0 命令工具概述3.1 Fairseq-preprocess常用命令（一）预处理参数3.2 Fairseq-train(一) 数据
首先在远程服务器上安装我想要的环境
04-01
作为AI语言模型，我无法直接操作远程服务器，但是我可以提供一些常见的安装步骤和命令供您参考： 1. 安装Python3 大多数Linux系统都会默认安装Python2，但是为了使用最新的Python特性，我们需要安装Python3。可以使用以下命令安装： Ubuntu/Debian: ``` sudo apt-get update sudo apt-get install python3 ``` CentOS/RHEL: ``` sudo yum update sudo yum install python3 ``` 2. 安装pip pip是Python的包管理工具，我们需要使用它来安装Python库。可以使用以下命令安装pip： Ubuntu/Debian: ``` sudo apt-get install python3-pip ``` CentOS/RHEL: ``` sudo yum install epel-release sudo yum install python3-pip ``` 3. 安装虚拟环境 虚拟环境可以帮助我们隔离不同项目的依赖，避免因为不同项目使用了不同版本的库而导致冲突。可以使用以下命令安装虚拟环境： ``` sudo pip3 install virtualenv ``` 4. 创建虚拟环境并激活 创建一个新的虚拟环境可以使用以下命令： ``` virtualenv myenv ``` 其中`myenv`是虚拟环境的名称，可以根据自己的需要来命名。 激活虚拟环境可以使用以下命令： ``` source myenv/bin/activate ``` 5. 安装所需的Python库 安装Python库可以使用pip命令，例如： ``` pip install numpy pip install pandas pip install scikit-learn ``` 这里以numpy、pandas和scikit-learn为例，您可以根据自己的需要来安装其他Python库。 希望这些步骤和命令可以帮助您在远程服务器上安装所需的环境。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值