本文旨在介绍基于transformers的decoder-only语言模型的推理框架。与开源推理框架不同的是:
- 本框架没有利用额外的开源推理仓库,仅基于huggingface,transformers,pytorch等原生工具进行推理,适合新手学习大模型推理流程。
- 支持batch推理
- 支持获得各种中间层状态,概率值,生成token等
- 支持选择题形式QA和free-form形式QA任务
代码仓库:github仓库地址
如果你觉得有用,请点一个star。欢迎任何形式的交流
本文旨在介绍基于transformers的decoder-only语言模型的推理框架。与开源推理框架不同的是:
代码仓库:github仓库地址
如果你觉得有用,请点一个star。欢迎任何形式的交流