澳门科技大学智能助手 MUST-Helper1.0

澳门科技大学智能助手 MUST-Helper ：基于Qwen2微调的先进对话模型

在自然语言处理（NLP）领域，特别是在对话系统的发展中，模型微调是一个至关重要的步骤，它使得预训练模型能够更好地适应特定的应用场景。
本文将介绍MUST-Helper模型，一个基于Qwen2架构微调得到的基础对话模型，旨在为本校学生提供更加高效的服务体验。

1 模型背景

Qwen 2.5 仓库
Qwen 2.5 权重文件
MUST-Helper模型是基于Qwen2架构，经过专门微调以优化对话生成能力。Qwen2是一个强大的预训练语言模型，而MUST-Helper在此基础上进行了定制化改进，以更好地服务于对话系统。

2 模型架构

MUST-Helper模型保留了Qwen2的核心架构，并在此基础上进行了以下定制：

隐藏层大小：3584个隐藏单元，为模型提供了丰富的语言表示能力。
层数与注意力头数：28个隐藏层，每层配备28个注意力头，确保了深层次的信息处理。
中间层大小：18944，增强了模型的表达能力。
此外，模型使用了silu激活函数，并在注意力机制中应用了dropout技术，以提升模型对过拟合的抵抗力。

3 微调细节

在微调过程中，MUST-Helper模型特别关注以下方面：
位置编码：支持的最大序列长度为32768，允许模型处理长篇对话。
特殊tokens：定义了开始（BOS）和结束（EOS）tokens，分别为151643和151645，用于对话的起止标记。
LORA优化：采用了LORA（Low-Rank Adaptation）技术，通过16的alpha值和0.1的dropout率，进一步优化了模型的泛化能力和训练效率。
MUST-Helper模型在微调过程中使用了特定的训练数据和对话模板，这些模板帮助模型更好地理解对话结构和语境。在推理模式下，模型能够迅速生成连贯、自然的对话回复。

4 数据集构成

数据集采用json格式，由基础的问答环节构成，采用单轮对话模式。

5 模型评估

"predict bleu-4": 12.106021715328469,
"predict model preparation time": 0.0039
"predict rouge-1": 39.32649653284672,
"predict rouge-2": 18.65382974452555,
"predict_rouge-1": 30.578882299270074
"predict runtime": 201.3345,
"predict_samples_per_second": 2.722
"predict steps_per_ second": 1.361

模型在BLEU-4指标上达到了12.106的分值，这表明模型在生成文本的精确度方面表现良好。同时，模型在ROUGE-1指标上取得了39.326的高分，显示出模型在衡量生成文本与参考文本之间的重叠度方面有着出色的表现。此外，ROUGE-2指标也达到了18.653，进一步证实了模型在捕捉文本中短语级别相似性的能力。
在效率方面，MUST-Helper模型的表现同样亮眼。模型的预测运行时间为201.3345秒，处理速度达到每秒2.722个样本，每秒执行1.361个步骤，这显示了模型在实际应用中的高效性。

6 具体应用

API远程接入

MUST-Helper模型在微调后展现了较为出色的对话生成能力，适用于澳门科技大学对话场景，包括学生服务、事务助手等。在1.0版本测试阶段，作者将MUST-Helper已经接入个人博客的Limechat模块。
【温馨提示】如果您对此模型感兴趣，请联系作者在特定时间放通权限，该模型因为远程部署，花费金钱较多，故暂时不能保证24h持续运行GPU服务器资源，还请您见谅。

gradio 直接运行

后续作者将会将稳定版本的权重文件放置在hugging face（或者魔塔社区），web_demo等仓库上传至github

7 未来计划

由于数据集仅包含30,000余条记录，目前可能无法全面覆盖澳门科技大学的所有知识领域。因此模型在处理某些特定或边缘话题时可能存在局限性。作者在未来的工作中，将继续扩充数据集，以便更好地捕捉和反映设计教育的广泛知识。同时将在稳定版模型出来后，接入微信公众号，方便同学们的使用。

如果你是科大学生，有幸看到本文章，欢迎留下你的想法！

欢迎与我联系，Email：Bradley.xsq@gmail.com