weixin_44319196的博客

背景：最近在做智能对话项目，用triton进行模型的部署和管理。triton 除了部署模型外，还支持.py文件的推理。根据项目需求，需要将自定的python代码，作为模型部署到triton中，且模型的输入是文字。输出的结果是分词结果。准备：1.triton 21.12镜像2.容器中安装 LAC库。百度分词库。pip install lac -i https://mirror.baidu.com/pypi/simple操作：1、在模型仓库下，创建如图所示的目录结构；lac – 模型名称，在

参考：https://blog.csdn.net/Princeicon/article/details/108058822https://blog.csdn.net/weixin_43643246/article/details/107785089假设情景：batch_size = 10 #每批次大小total_num = 1000 #数据总量按照 训练一个批次数据，更新一次梯度；训练步数 train_steps = 1000 / 10 = 100梯度更新步数 = 1000 / 10 = 1