机器翻译Transformer实战：利用nvidia-docker和Tensorflow Serving快速部署一个基于Tensor2Tensor的神经机器翻译服务

最新推荐文章于 2024-09-20 10:33:32 发布

置顶

kudou1994

最新推荐文章于 2024-09-20 10:33:32 发布

阅读量5.5k

点赞数

分类专栏：模型部署 Tensor2Tensor T2T # 机器翻译学习神经机器翻译

本文链接：https://blog.csdn.net/kudou1994/article/details/87653930

版权

本文介绍了如何使用nvidia-docker和Tensorflow Serving在GPU环境下快速部署基于Tensor2Tensor的神经机器翻译服务。从Docker的GPU版本安装，到Tensor2Tensor模型的训练和导出，再到Tensorflow Serving的配置和预测服务启动，详细阐述了整个流程。然而，文章提出在服务端实时翻译时无法调整beam_size和alpha_size，以及翻译速度较慢的问题，对于这些问题，作者提到了部分解决方案和后续优化方向。

摘要由CSDN通过智能技术生成

Docker目前也只是跑通，能进行基本的使用。
如果有需求，还可以使用Docker GPU版本，可以使用GPU。
以GPU版本为例：

卸载原有的Docker

sudo apt-get remove docker
sudo apt-get remove docker-ce
sudo apt-get remove docker docker-engine docker.io containerd runc

本机环境

nvidia驱动：最新版
Ubuntu16.04
Python3.6
Tensor2Tensor 1.9 #不要下载最新版，只支持TF1.13.0
Tensorflow 1.12.0 #（可不安装）
Tensorflow-gpu 1.12.0
CUDA 9.0.176
cudnn 7.0.5
pip3 最新版

Tensorflow安装（默认已安装好对应的CUDA和cudnn版本）

sudo pip3 install tensorflow==1.12 #（可不安装）
sudo pip3 install tensorflow-gpu==1.12 #GPU版本
#可以使用清华源进行安装，满速下载
sudo pip3 install tensorflow-gpu==1.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple #可改成任意版本

Docker CE安装：官方文档