多线程微服务模型预测

最新推荐文章于 2023-10-08 01:04:29 发布

baihaisheng

最新推荐文章于 2023-10-08 01:04:29 发布

阅读量242

点赞数

分类专栏： NLP 文章标签：神经网络数据挖掘自然语言处理

本文链接：https://blog.csdn.net/qq_41128383/article/details/106867345

版权

本文探讨了如何在微服务架构中利用多线程技术进行神经网络模型的预测，结合数据挖掘和自然语言处理技术，提高预测效率和准确性。通过详细步骤和案例分析，展示了多线程在高并发场景下对于模型预测性能的提升。

摘要由CSDN通过智能技术生成

# 导入必备的工具包
import json
import threading
import requests
from sklearn.externals import joblib

# 从任意的模型训练文件中导入add_ngram增加n-gram特征以及padding截断函数
from movie_model_train import add_ngram
from movie_model_train import padding

# 定义模型配置路径，它指向一个json文件
model_config_path = "/data/django-uwsgi/text_labeled/model_train/model_config.json"



# model_config.json形如 ：
# {"影视": ["/data/django-uwsgi/text_labeled/model_train/movie/Tokenizer", 60, 2, 
#           "/data/django-uwsgi/text_labeled/model_train/movie/token_indice", 119, 
#           "http://localhost:8501/v1/models/movie:predict"],
# "美妆": ["/data/django-uwsgi/text_labeled/model_train/beauty/Tokenizer", 75, 2, 
#           "/data/django-uwsgi/text_labeled/model_train/beauty/token_indice", 119, 
#           "http://localhost:8502/v1/models/beauty:predict"]}
# json文件中是一个字典，字典中的每个key是我们标签的中文字符，每个value是一个列表，
# 列表的第一项是特征处理词汇映射器的存储地址
# 第二项是特征处理语料的截断长度
# 第三项是n-gram取得n值
# 第四项是n-gram特征中token_indice的保存路径
# 第五项是最后的最大的对齐长度
# 第六项是该模型对应的微服务地址

# 最终的模型预测结果列表
model_prediction = []



# 获取分词列表

def handle_cn_text(text: str):
    # 对输入进行合法性检验
    if not text: return []
    # 使用jieba的cut方法对使用最大限制进行切片的输入文本进行分词
    word_list = jieba.cut(text[:MAX_LIMIT])    

    def<