亚马逊机器翻译框架-训练说明文档-3

Setup & Installation

依存关系

Sockeye所需要的环境:

  • Python3
  • MXNet
  • numpy
Installation

下面有几个有关Sockeye和他的依存关系安装选项。下面我们会罗列出几个备选方案,和一些相关的说明。

-> via pip

最简单的方式是使用pip:

pip install sockeye

如果你想在GPU上运行sockeye,你需要确保你的Apache MXNet孵化版本包含了GPU绑定。根据你的CUDA版本,你可以运行以下命令:

wget https://raw.githubusercontent.com/awslabs/sockeye/master/requirements/requirements.gpu-cu${CUDA_VERSION}.txt

pip install sockeye --no-deps -r requirements.gpu-cu${CUDA_VERSION}.txt

rm requirements.gpu-cu${CUDA_VERSION}.txt

其中,**${CUDA_VERSION}**可以被写成80(8.0),90 (9.0), 92 (9.2), or 100 (10.0).分别对应的是CUDA的版本。

-> via source…

如果你只想使用sockeye而不扩展它,只需通过安装它即可:

pip install -r requirements/requirements.txt

pip install .

从github的仓库中克隆过来以后。

如果你想在GPU上运行sockeye,你需要确保你的Apache MXNet孵化版本包含了GPU绑定。根据你的CUDA版本,你可以运行以下命令:

pip install -r requirements/requirements.gpu-cu${CUDA_VERSION}.txt

pip install .

其中,**${CUDA_VERSION}**可以被写成80(8.0),90 (9.0), 92 (9.2), or 100 (10.0).分别对应的是CUDA的版本。

开发人员最好将$PYTHONPATH指向git克隆源的根目录。

-> 利用anaconda环境,其中,anaconda包含了conda、Python等180个多个科学包及依赖项。用户只需要运行以下行来安装sockeye(在一个没有GPU的实例上):

conda create -n sockeye python=3.6 // 创建一个虚拟环境 sockeye

source activate sockeye //激活环境

pip install sockeye --no-deps //安装sockeye

在使用GPU的实例上,下面的命令如下执行:

conda create -n sockeye python=3.6

source activate sockeye

wget https://raw.githubusercontent.com/awslabs/sockeye/master/requirements/requirements.gpu-cu${CUDA_VERSION}.txt

pip install sockeye --no-deps -r requirements.gpu-cu${CUDA_VERSION}.txt

rm requirements.gpu-cu${CUDA_VERSION}.txt

其中,**${CUDA_VERSION}**可以被写成80(8.0),90 (9.0), 92 (9.2), or 100 (10.0).分别对应的是CUDA的版本。

可选择的依赖关系

你可以安装Tensorboard来对训练过程可视化,您可以选择安装mxboard(pip install mxboard)。为了可视化过程,运行Tensorboard工具(pip install tensorboard tensorflow)日志目录指向训练输出文件夹:tensorboard --logdir <model>

如果要创建对齐图,需要安装matplotlib(pip install matplotlib)。

Running sockeye

安装之后,可以使用诸如sockeye-train、sockeye-translate、sockeye-average和sockeye-embeddings之类的命令行工具。下面举例:

sockeye-train

同样,如果sockeye目录在$PYTHONPATH上,则可以直接运行模块:

python -m sockeye.train

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值