jilinwanjia1111的博客

原创 qwen指令微调中对话样本是否需要加入指令分析

当训练一个具有业务的功能的大模型时，有的时候不能直接通过prompt就能达到很好的效果，需要准备一些指令微调数据，让模型能够训练学习到如何使用我们的业务的工具，更好的使用我们的工具，而在模型进行指令微调过程中，往往目标是不仅仅让模型有function calling的能力，也需要其他的配套能力，比如自我认知、对话等等，所以训练数据不仅仅局限于指令微调数据，也需要其他一些数据，例如自我认知数据、多轮对话数据等等。