weixin_61665230的博客

HuggingFace中封装了prefix的相关操作的实现，本次主要初次探索一下其使用，首先在已经适配好的模型上进行试验，其次手动配置使其适配自己的模型，为下一步配置Qwen并进行微调做准备。

实现了FreeChat界面，用户可与大模型自由对话。

引入COT技术。

由于在模型的微调训练中需要用到知识点标签，在获得基础的数据集后，对数据集进行处理，打上知识点标签。设计、编写了一个dataProcess程序来完成这个任务。这个程序主要由以下几个部分组成。1.调用接口。2.提示词与请求函数。3.处理response的代码4.异常捕捉与处理代码将数据集分割为几部分，每人负责标记一部分数据。

项目采用Qwen1.5-7B-chat，LoRa训练要求20G显存左右，故试采用阿里云PAI平台DSW服务，配合魔搭生态便于微调。

项目目标：基于开源的大语言模型，结合大模型微调技术，搭建一站式辅助教育平台，整合题库生成、作文修改等功能，实现个性化和智能化的教育过程。随着人工智能技术的飞速进步，教育领域正在迎来一场革命。AI大模型如GPT-3.5的出现不仅为教育提供了新的发展机遇，也对其提出了挑战。这些技术推动着教育变革，为教育提供了更智能化和个性化的方式。AI大模型可以充当教学助手，通过自然语言处理和推理能力回答学生问题、提供解释，帮助他们更好地理解知识。这种方式打破了传统教育的限制，让学生随时随地获得高质量的教学服务。