【项目实训】基于大模型的小学语数英辅助教育平台 | 相关技术调研

        在实现该平台的过程中，我们需要考虑以下几个方面的实现

        1.训练资源

        2.选用哪个大模型

        3.如何将大模型应用于我们的垂直领域

        4.怎么训练

        5.训练数据

        接下来将针对以上内容进行调研和整理

一、训练资源

       申请阿里云的计算资源

二、模型选择

        我们综合了训练可操作性、模型适配性以及计算资源等综合因素，最终选用Qwen-7B作为我们的基础模型。Qwen是阿里云推出的一款模型，可在其计算平台上一键部署并实现训练，同时其在题目解答方面的现有能力也较好。

三、如何应用

        对于垂直领域的应用，一般可以从全调、微调和RAG三个方面考虑。对于题目生成来说，RAG并不会取得很好的效果过，而全调对于计算资源要求较高，所以我们将侧重于微调。

        目前主流的微调方法包括2019年 Houlsby N 等人提出的 Adapter Tuning，2021年微软提出的 LORA，谷歌提出的 Prompt Tuning，2022年清华提出的 P-tuning v2。我们计划采用LORA方法和prefix方法，理由是其作为轻量级的微调方法，训练的参数量最小，且效果较好。

        对于微调的具体探索和说明将在之后进行介绍。

四、怎么训练

        通过调研，我们发现Huggingface中的PEFT库中集成了相关方法实现，后期可具体学习并应用到我们的数据集和模型中。

五、训练数据

        我们的模型需要达到能生成小学数学题库的水准，因此我们需要收集小学数学题相关的数据集来训练微调大模型。以下是在网络上收集到的小学数学题集相关的几个数据集：

1.HuggingFace: primary-school-math-question
是英文数据集；微调模型的数据集；分成了数学和非数学的标签；似乎只有问题没有答案

2.BelleGroup/school_math_0.25M · Datasets at Hugging Face
Chat-GPT生成的中文题，有详细解析；包含约25万条由BELLE项目生成的中文数学题数据，包含解题过程；此数据集是由ChatGPT产生的，未经过严格校验，题目或解题过程可能包含错误

4.GitHub - openai/grade-school-math
英文题，有详细解析；是人工数据集，应该不大担忧出错的问题；步骤都是2-8步，计算只涉及了基础的加减乘除运算

5.math_dataset · Datasets at Hugging Face
全是计算题

6.GitHub - Chenny0808/ape210k: This is the repository of the Ape210K dataset and baseline models.
解析只是把计算式列出来了；小学水平的数学题；21w条，提供问题、最优算式和解答

        最后我们选择ape210k数据集来作为我们的训练数据集。该数据集数量大，能保证正确性并且有相关解析提供，相对收集到的其他数据集来说更能满足我们的要求。