上文【05】LLaMA-Factory微调大模型——初尝微调模型,对LLama-3与Qwen-2进行了指令微调,本文则介绍如何对微调后的模型进行评估分析。
一、部署微调后的LLama-3模型
激活虚拟环境,打开LLaMA-Factory的webui页面
conda activate GLM
cd LLaMA-Factory/
llamafactory-cli webui
选择 模型的名称,并选择微调参数保存的路径(test1),之后选择Chat对话中加载模型
模型加载成功后即可进行问答交互,输入一条测试数据,来观察微调后模型的回复
请根据基本案情,利用三段论的推理方式得到判决结果,判决结果包括:1.罪名;\n2.刑期。
基本案情:\n广东省鹤山市人民检察院指控被告人李某甲于2014年7月7日9时许,在鹤山市宅梧镇双和公路宅梧收费站附近路段被民警抓获。民警当场从李某甲身上搜获搜获白色晶体38小包。经鉴定,从李某甲处缴获的白色晶体净重12.9克,检出甲基苯丙胺成分。被告人李某甲到案后如实供述自己的罪行,可以从轻处罚。建议对被告人判处有期徒刑六个月至一年六个月,并处罚金。提请法院依法惩处。上述事实,被告人李某甲在开庭审理过程中亦无异议,并有抓获被告人及破案的经过材料、被告人的供述、证人李X锋的证言、扣押物品清单、鉴定意见、辨认笔录、现场勘某足以认定。
模型的回答如下:
加载一个原始模型,输入相同的问题,分析微调前后模型回答的变化
可直观发现微调后的模型回答以三段论的形式展开,逻辑性更强,也具有参考意义