飞浆PaddleNlp-dialogue docker部署使用

飞浆PaddleNlp-dialogue使用

要求服务器cpu支持AVX指令集

docker部署

下载paddlenlp镜像（较大，等待时间比较长）

docker pull paddlepaddle/paddlenlp:pipelines-cpu-1.0

启动容器，8111是rest服务暴露端口，可以随意更改

docker run -it -d -p 8111:8111 --name paddlenlp <镜像id或名称>

进入容器

docker exec -it paddlenlp /bin/bash

（容器内）安装rest服务依赖bottle

pip install bottle

（容器内）写入服务脚本

mkdir -p project/chat-server
cd project/chat-server
vi server.py

（容器内）（vi文件内）粘贴一下代码到文件，保存退出

from paddlenlp import Taskflow
from bottle import route, request, run

dialogue = Taskflow("dialogue")


@route('/chat', method=['GET', 'POST'])
def dh():
    return dialogue([request.query.str])


if __name__ == "__main__":
    run(host='0.0.0.0', port=8111)

（容器内）启动服务

nohup python server.py > log.log 2>&1 &

本机访问测试

curl http://127.0.0.1:8111/chat?str=hello

开启相关端口防火墙&规则即可