大模型中文问答场景下的模型选择

1、LLM3.1

8B(80亿)、70B(700亿)、405B(4050亿)

支持八种语言，具备128K扩展上下文的长度。

提供通用知识，数学计算、多语言翻译和工具使用能力，开源下载，并允许开发者定制和微调。

其中4050亿的参数的模型，可与GPT-4、GPT-4o、Claude 3.5 Sonnet等领先的闭源模型相媲美。

在预训练模型上，进行几轮对齐来生成最终的聊天模型。

每一轮涉及监督微调(SFT)、拒绝采样(RS)和直接偏好优化(DPO)

模型官网：https://ai.meta.com/blog/meta-llama-3-1/

模型下载：https://llama.meta.com/llama-downloads/

注：模型太大，如何部署，部署在哪里。

2、模型蒸馏

目的：将大模型的知识传递给小模型的过程

大模型通常是一个性能较好的复杂模型，小模型是一个简单的、计算量较小的模型

小模型学到一些关键知识，从而在保持较高性能同时，降低计算成本和存储需求

原理：从教师模型传递给学生模型，教师模型会用自己的经验解释问题，学生模型从老师的解释中学到知识

模型蒸馏步骤：

1、老师模型 具备较好的性能，但计算量和存储量要求较高

2、创建一个学生模型，可以简单低存储

3、训练小模型，使用[原始的训练数据]，还可以使用[大模型的输出结果]，来学习关键的知识

4、最后，得到性能较好的小模型。保持较高的性能，降低了计算成本