1.服务搭建
功能要求:提供模型预测服务。预加载模型,
主要包含三个脚本 :
- index.py——提供服务,flask app所在。
- predict_server.py——实现模型预测功能
- client.py——用来发请求,测试服务是否可用
一 提供服务
index.py脚本:
# -*- encoding:utf-8 -*-
from flask import Flask, request, Response
from importlib import import_module
import sys, time, os, json, re
from collections import defaultdict
import logging
from logging.handlers import TimedRotatingFileHandler
import numpy as np
'''
第一部分:
初始化:所有的Flask都必须创建程序实例,
web服务器使用wsgi协议,把客户端所有的请求都转发给这个程序实例
程序实例是Flask的对象,一般情况下用如下方法实例化
Flask类只有一个必须指定的参数,即程序主模块或者包的名字,__name__是系统变量,该变量指的是本py文件的文件名
'''
app = Flask(__name__)
sys.path.append(os.getcwd())
'''
第二部分,路由和视图函数:
客户端发送url给web服务器,web服务器将url转发给flask程序实例,程序实例
需要知道对于每一个url请求启动那一部分代码,所以保存了一个url和python函数的映射关系。
处理url和函数之间关系的程序,称为路由
在flask中,定义路由最简便的方式,是使用程序实例的app.route装饰器,把装饰的函数注册为路由
'''
@app.route('/multi_class', methods=['POST']) # multi_class可以叫任意的名字,功能的唯一标志;methods=['POST']这个表示发送请求需要post格式
def predict_multi_class():
# 输出定义、输入判断
res = defaultdict()
res['score'] = 0.0
res['label'] = '0'
if request.json:
jsonstr = request.json
else:
logger.error("please check the data format of request.json and the parameters in data")
return res
# 模型
try:
res = model_predict(jsonstr)
except Exception as e:
logger.exception(e)
return Response(json.dumps(res))
#模型初始化,将其赋值给一个静态变量,这样只有在第一次加载时,耗时较多,其它请求,则不会再预加载模型了
def app_name_process_init(app_name):
p = import_module('predict_server')
if app_name == 'two_class':
model_path = './saved_dict/20201126_193727.ckpt'
predict_server = p.Predict_server(model_path, 21)
description = {'0': '负', '1': '正'}
return predict_server, description
def get_top_n(lists, n):
sort_index = np.argsort(lists)
n_index = sort_index[-n:] # 因为是按照概率从大到小取n个
indexs = list(reversed(n_index))
return indexs
def model_predict(jsonstr):
res = defaultdict()
res['score'] = 0.0
res['label'] = '0'
try:
pred_data = predict_server.predict_data_clean(jsonstr['text'])
if len(jsonstr['text']) - len(pred_data) > 5:
logger.info('len(jsonstr[text]) - len(pred_data) > 5')
predict_score = predict_server.predict_torch(pred_data)
out = predict_score.cpu().numpy()
res['score'] = out
logger.info("predict done")
except OSError as err:
logger.exception("OS error: ", err)
except ValueError as err:
logger.exception("input value error: ", err)
except Exception as e:
logger.exception(e)
return res
def setup_log(log_name):
#日志,将日志放在log文件夹下,日志按天存放,保留30天内的日志。
logger = logging.getLogger(log_name)
log_path = os.path.join('./log/', log_name)
logger.setLevel(logging.INFO)
file_handler = TimedRotatingFileHandler(
filename=log_path, when="MIDNIGHT", interval=1, backupCount=30
)
file_handler.suffix = "%Y-%m-%d.log"
file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}.log$")
file_handler.setFormatter(
logging.Formatter(
"[%(asctime)s] [%(process)d] [%(levelname)s] - %(module)s.%(funcName)s (%(filename)s:%(lineno)d) - %(message)s"
)
)
logger.addHandler(file_handler)
return logger
'''
第三部分:程序实例用run方法启动flask集成的开发web服务器
__name__ == '__main__'是python常用的方法,表示只有直接启动本脚本时候,才用app.run方法
如果是其他脚本调用本脚本,程序假定父级脚本会启用不同的服务器,因此不用执行app.run()
服务器启动后,会启动轮询,等待并处理请求。轮询会一直请求,直到程序停止。
'''
if __name__ == '__main__':
# log 格式
logger = setup_log("pred_log") # 如果其他py文件想使用此配置日志,只需 logging.getLogger(日志的名字) 即可
predict_server, description = app_name_process_init('multi_class')
app.run(debug=True)
二 功能模块
predict_server.py脚本,两个功能:
- 一个是初始化加载,给一个静态变量,这样下次调用时候,不会重新加载模型
- 预测功能,predict_torch()函数的实现
# coding: UTF-8
import torch, time, logging
from transformers import BertForSequenceClassification, BertTokenizer
class Predict_server():
def __init__(self, class_number=2):
logger = logging.getLogger('pred_log')
self.bert_name = 'bert-base-chinese'
# 缺少判断: model_path是否存在
self.model = BertForSequenceClassification.from_pretrained(self.bert_name, num_labels=class_number)
logger.info('{0}---model init done'.format(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())))
self.tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
logger.info('{0}---tokenizer init done'.format(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())))
def predict_torch(self, pre_data):
input_ids = self.tokenizer.encode(
pre_data,
add_special_tokens=True, # 添加special tokens, 也就是CLS和SEP
max_length=160, # 设定最大文本长度
pad_to_max_length=True, # pad到最大的长度
return_tensors='pt' # 返回的类型为pytorch tensor
)
self.model.eval()
with torch.no_grad():
logits = self.model(input_ids, token_type_ids=None, attention_mask=(input_ids > 0))
m = torch.nn.Sigmoid()
out = m(logits[0])
return out
3 请求测试
client.py脚本内容
# -*- encoding:utf-8 -*-
import requests,json
if __name__ == '__main__':
headers = {'content-type': 'application/json'}
pred_data = {'text': '说点什么?实在词穷', 'detail': 1}
r = requests.post("http://127.0.0.1:5000/multi_class", data=json.dumps(pred_data), headers=headers)
print(r.json())
遇到的bug:
The server encountered an internal error and was unable to complete your request. Either the server is overloaded or there is an error in the application.
原因:
代码中的业务逻辑,返回的是数值,list,其中元素是 float,不符合flask返回的形式,flask要求返回 字符串。
将return pred_score, pred_class
长这个 样子 :
----pred_score : [0.78471559 0.80732614 0.77324665 0.80003554 0.77968925 0.76409107
0.8216269 0.79871303]
----pred_class : [1 1 1 1 1 1 1 1]
改为 :
return pred_score.tostring(), pred_class.tostring()
2.服务部署
“部署”,就是启动服务,让他能对外提供功能。
>python index.py # 启动了服务
3.请求测试
> python client.py # 测试服务是否OK
app是flask的实例,功能就是接受来自web服务器的请求,
- 浏览器将请求给web服务器,web服务器将请求给app ,
- app收到请求,通过路由找到对应的视图函数,然后将请求处理,得到一个响应response
- 然后app将响应返回给web服务器,
- web服务器返回给浏览器,
- 浏览器展示给用户观看,流程完毕。
参考:
1.https://blog.csdn.net/SelinaGu/article/details/103732131
2.https://blog.csdn.net/yelena_11/article/details/53404892
3.设置日志:https://www.cnblogs.com/xujunkai/p/12364619.html
4.request参数:https://www.cnblogs.com/android-it/p/9558751.html,https://2.python-requests.org/zh_CN/latest/user/advanced.html