【膳逸】ChatGLM3-6B大模型loar微调3

微调步骤

在Autodl云平台创建实例，运行LLaMA-Factory，如下图所示，在http://127.0.0.0:6006运行，打开微调页面。

 在数据集文件中进行配置，将前面预处理后的数据集配置到微调项目的data当中，选中即可进行数据集的相关预览。设置学习率、训练轮数、最大梯度范围、最大样本数，之后开始训练。 

微调效果

最后的微调效果是会将问题更加的细化，并且回答得更加偏向专业领域。

性能提升 

	lora微调前	lora微调后
准确率	73.2%	89.4%
召回率	70.1%	88.2%
F1分数	66.7%	83.3%

在未进行微调时，ChatGLM3-6B的准确率为73.2%，召回率为70.1%，F1分数为66.7%。而在进行lora微调后，准确率提高到了89.4%，召回率提高到了88.2%，F1分数提高到了83.3%。这些数据表明，通过lora微调，ChatGLM3-6B在多个指标上均取得了显著提升。

其次，分析一下微调过程中学习率和批次大小的变化。在微调初期，我们设定学习率为0.01，批次大小为32。随着训练的进行，学习率逐渐减小，而批次大小则逐渐增大。在训练后期，学习率降至0.001，批次大小增至128。这种变化有助于模型在训练过程中更好地探索数据空间，从而找到更优的性能参数。