MTMonkey 安装和部署

• 1. 组织结构：

  app-server，1个， 提供对外的翻译REST API

  worker ，多个， 完成翻译过程中的各个job

   

  2. 环境变量
  1. $VERSION:  dev or stable

  mt-monkey 版本

  2. $USER 

  Linux 用户名

  3. $SHARE

  MOSES & virtualenv安装文件共享目录，网络共享目录，挂载在worker和appserver的系统上面，以供安装时使用，例如挂接点/mnt/share

   

  3. 安装前提条件

  app-server （需要git）

  worker（需要安装 git, netcat, python-dev, moses）

  1） If Moses is to be compiled on a certain worker machine -- all packages needed by Moses installation (including libxmlrpc-c++-dev so that XML-RPC support is compiled).

  2） If Moses is only to be copied to a worker machine: libxmlrpc-c++ is needed to run it.

   

   

  4. Worker的安装

  4.1  共享目录的准备工作

  1） 安装moses

  安装moses到$SHARE 目录下面，并将安装生成的mosesdecoder目录重命名为 moses-$VERSION。 moses 安装方法另见文档。

  2 )  安装python 虚拟环境

  使用install_virtualenv.sh 脚本将虚拟环境安装到$SHARE/virtualenv 目录下面。该脚本位于mtmonkey/install下面，下载该脚本到系统中，并按照下面的步骤安装。

  1. 必须提前设置USER &SHARE环境变量。
  2. 注释掉 cd ~$USER 一行。注释掉后，virtualenv将被安装到脚本执行的目录下面，否则就会安装到home目录下面。
  3. 修改VEVER 的值到最新的稳定版本，即virtualenv的软件版本号
  4. 修改或屏蔽wget 一行， 因为对应的virtualenv 的软件下载路径已经发生改变。可以修改wget的URL或者屏蔽wget命令，手动下载tar.gz包到用户目录(~)
  5. 由于我们希望将python 虚拟环境安装到共享目录，所以在$SHARE目录下执行install_virtualenv.sh即可。

  Note: 如果在安装过程中报 找不到virtualenv/bin/activate 问题，说明virtualenv没有安装好。

   

  4.2 worker的配置准备工作（针对所有woker）

  1）运行prepare_woker 脚本

  该脚本会将worker环境所有需要的代码脚本等安装到给定目录。

  目标目录是 ~$USER, 源目录是$SHARE, ~$USER下面将生成2个目录：

  • moses-$VERSION

   moses 安装路径，下面将包含以下几个子目录：

  #   git/    = the Git repository of MTMonkey

  #   scripts = link to scripts directory in Git

  #   worker  = link to worker/src directory in Git

  #   moses/  = a copy of Moses

  #   config/ = directory for configuration files

  #   logs/   = directory for log files

  #   models/ = directory for MT models

  • virtualenv

   python虚拟运行环境。

  prepare_woker脚本准备步骤如下：

  1. 从mtmonkey/install拷贝脚本到$SHARE目录
  2. 额外预设$PORT , $LANGS等环境变量(可选）
     1. $PORT对应的是worker的service 端口

  格式是PORTS = worker port:translation port:recaser port (leave empty if you don't want a recaser)

  2. $LANGS对应的是该worker要处理的语言转换关系，格式是：LANGS="en:de"
  3. 从worker系统的$SHARE目录运行脚本即可。

  2）准备moses model 文件

  将训练好的model文件放在~$USER/mt-$VERSION/models文件夹下面

  3）修改config文件

  根据待使用的语言对和模型，修改~$USER/mt-$VERSION/config下面的config文件

   

  4.3 Worker的自启动和自动更新（Optional）

  //TODO

   

  5. App server的安装

  5.1 安装python虚拟环境

  从$SHARE目录拷贝virtualenv文件夹到$USER下面，或者使用install_virtualenv.sh安装该环境，步骤见上，不过需要取消对cd ~$USER 的注释。

   

  5.2 运行prepare_appserver.sh脚本

  运行该脚本后，将在用户home目录下面生成appserver-$VERSION文件夹，该文件夹有以下子文件夹：

  #   git/        = the Git repository of MTMonkey

  #   scripts     = link to scripts directory in Git

  #   appserver   = link to appserver/src directory in Git

  #   config/     = directory for configuration files

  #   logs/       = directory for log files

  将mtmonkey/install目录下面的该脚本下载到本地，并按照下列步骤：

  1. 确定设定了环境变量$USER &＄VERSION
  2. 运行该脚本即可。

   

  5.3 修改appserver.cfg 配置文件

  1. 添加对应的workers的IP地址和端口号。
  2. 设定appserver的 端口号

   

  5.4 运行app server

  调用该脚本运行server:  ~$USER/mt-$VERSION/scripts/run_appserver.

   

  5.5 自动启动和更新（Optional）

  //TODO