一、背景
在某些场景下,我们需要将机器学习或者深度学习模型部署为服务给其它地方调用,本文接下来就讲解使用python的flask部署服务的基本过程。
二、步骤
1、加载保存好的模型
为了方便起见,这里我们就使用简单的分词模型,相关代码如下:model.py
pip install jieba
import jieba
class JiebaModel:
def load_model(self):
self.jieba_model = jieba.lcut
def generate_result(self, text):
return self.jieba_model(text, cut_all=False)
说明:在load_model方法中加载保存好的模型,无论是sklearn、tensorflow还是pytorch的都可以在里面完成。在generate_result方法中定义处理输入后得到输出的逻辑,并返回结果。
2、使用flask起服务
代码如下:test_flask.py
pip install flask
pip install flask_cors
# -*-coding:utf-8-*-
from flask import Flask, request, Response, abort
from flask_cors import CORS
# from ast import literal_eval
import time
import sys
import json
import traceback
from model import JiebaModel
app = Flask(__name__)
CORS(app) # 允许所有路由上所有域使用CORS
@app.route("/", methods=['POST', 'GET'])
def inedx():
return '分词程序正在运行中'
@app.route("/split_words", methods=['POST', 'GET'])
def get_result():
if request.method == 'POST':
text = request.data.decode("utf-8")
else:
text = request.args['text']
try:
start = time.time()
print("用户输入",text)
res = jiebaModel.generate_result(text)
end = time.time()
print('分词耗时:', end-start)
print('分词结果:', res)
result = {'code':'200','msg':'响应成功','data':res}
except Exception as e:
print(e)
result_error = {'errcode': -1}
result = json.dumps(result_error, indent=4, ensure_ascii=False)
# 这里用于捕获更详细的异常信息
exc_type, exc_value, exc_traceback = sys.exc_info()
lines = traceback.format_exception(exc_type, exc_value, exc_traceback)
# 提前退出请求
abort(Response("Failed!\n" + '\n\r\n'.join('' + line for line in lines)))
return Response(str(result), mimetype='application/json')
if __name__ == "__main__":
jiebaModel = JiebaModel()
jiebaModel.load_model()
app.run(host='0.0.0.0', port=1314, threaded=False)
说明:我们定义了一个get_result()函数,对应的请求是ip:port/split_words。 首先我们根据请求是get请求还是post请求获取数据,然后使用模型根据输入数据得到输出结果,并返回响应给请求。如果遇到异常,则进行相应的处理后并返回。在__main__中,我们引入了model.py的JiebaModel类,然后加载了模型,并在get_result()中调用。
运行:
python test_flask.py
显示如下,证明启动成功。
3、发送请求并得到结果
代码如下:test_request.py
import requests
import socket
def get_host_ip():
"""
查询本机ip地址
:return: ip
"""
ip = ''
try:
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
s.connect(('8.8.8.8', 80))
ip = s.getsockname()[0]
finally:
s.close()
return ip
def get_split_word_result(text, ip):
res = requests.post('http://{}:{}/split_words'.format(ip, 1314), data=str(text).encode('utf-8'))
print(res.text)
ip = get_host_ip()
# print(f'ip:{ip}')
get_split_word_result("我爱北京天安门", ip)
说明:
get_host_ip 获取主机 ip;
get_split_word_result 是调用之前 flask 启动的服务,通过requests发送post请求,请求数据编码成utf-8的格式,最后得到响应,并利用.text得到结果。
运行:
python test_request.py
显示如下,证明调用成功,整个过程完成。