机器翻译Transformer实战:利用nvidia-docker和Tensorflow Serving快速部署一个基于Tensor2Tensor的神经机器翻译服务

本文介绍了如何使用nvidia-docker和Tensorflow Serving在GPU环境下快速部署基于Tensor2Tensor的神经机器翻译服务。从Docker的GPU版本安装,到Tensor2Tensor模型的训练和导出,再到Tensorflow Serving的配置和预测服务启动,详细阐述了整个流程。然而,文章提出在服务端实时翻译时无法调整beam_size和alpha_size,以及翻译速度较慢的问题,对于这些问题,作者提到了部分解决方案和后续优化方向。
摘要由CSDN通过智能技术生成

Docker目前也只是跑通,能进行基本的使用。
如果有需求,还可以使用Docker GPU版本,可以使用GPU。
以GPU版本为例:

卸载原有的Docker

sudo apt-get remove docker
sudo apt-get remove docker-ce
sudo apt-get remove docker docker-engine docker.io containerd runc

本机环境

nvidia驱动:最新版
Ubuntu16.04
Python3.6
Tensor2Tensor 1.9 #不要下载最新版,只支持TF1.13.0
Tensorflow 1.12.0 #(可不安装)
Tensorflow-gpu 1.12.0
CUDA 9.0.176
cudnn 7.0.5
pip3 最新版

Tensorflow安装(默认已安装好对应的CUDA和cudnn版本)

sudo pip3 install tensorflow==1.12 #(可不安装)
sudo pip3 install tensorflow-gpu==1.12 #GPU版本
#可以使用清华源进行安装,满速下载
sudo pip3 install tensorflow-gpu==1.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple #可改成任意版本

Docker CE安装 :官方文档

sudo apt-get update

sudo apt-get
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值