10条提升大模型任务微调效果的tricks

在大型语言模型（LLMs）的研究和应用中，如何通过微调来适应特定任务是一个关键问题。尽管提示工程（PE）在提升LLMs的零样本学习和上下文内学习方面取得了显著成效，但关于如何设计有效的微调样本以进一步提升LLMs性能的研究还相对欠缺。

为解决上述问题，提出了样本设计工程SDE（Sample Design Engineering），这是一种系统化的方法，旨在通过精细化设计输入、输出和推理环节来增强LLMs在特定任务上的表现。以多方面情感分析（MASA）任务为例，分析了不同的SDE选项，包括指令放置、输入建模、多种预测格式化、未提及目标的处理、文本或数值标签的使用，以及推理设计选项，如链式思考（CoT），得出10条重要的结论！

在设计下游微调样本时需要考虑的典型SDE选项，以MASA任务为例。Ai表示第i个方面，Si表示其情感标签，[P]指的是占位符。

MASA任务的一个示例

10条实验结论：

1. 指令位置的重要性：将指令放在输入文本的前面（Inst-first）比放在后面（Inst-last）能更好地提升LLMs在下游任务中的表现。这强调了在微调过程中指令放置的重要性。
2. 输入建模的影响：在微调过程中对输入部分进行建模（MI）相比于不将输入包括在损失计算中（No-MI）会降低性能。这表明在微调时可能需要谨慎考虑对任务的哪些方面进行建模。
3. 输出格式的选择：对于需要多个预测的任务，“Lines”（每行一个方面）的输出格式在不同模型和任务中表现稳定且高效。它在提供结构化信息的同时保留了自然语言的可读性。
4. 未提及目标的处理：与在输出中省略未提及的目标（OU）相比，使用占位符（PU）保持一致的输出格式有助于模型学习。
5. 推理设计的影响：链式思考（CoT）对提升模型在不熟悉场景中的推理和适应性具有显著作用，特别是在OOD任务中。
6. 集成SDE策略的有效性：基于实验结果，提出了一种集成的SDE策略（ES-SDE），它结合了表现最佳的选项，并在不同下游任务中验证了其相对于其他启发式设计的优越性。
7. 稳定性与理解能力的平衡：在考虑LLMs的格式一致性的同时，还需要考虑其在下游应用中的理解能力，这表明在工业场景中需要一种平衡的方法。
8. PE与SDE的关系：通过额外的分析，有效的提示设计（PE）并不一定能够指导样本设计（SDE），这表明PE和SDE之间存在复杂的关系。
9. SDE的稳健性：ES-SDE策略在不同的训练大小、解码随机性或指令变化下显示出了良好的稳定性，表明其对于LLMs的下游任务是一个可靠和强大的方法。
10. SDE的适用性和局限性：尽管ES-SDE在当前实验中表现出色，但对于未测试的其他场景，其适用性仍不确定。此外，随着LLMs的快速发展，可能需要对新模型进行进一步的SDE研究。

多方面情感分析（MASA）任务上不同样本设计的示例

格式错误类型及其处理方式的示例

Sample Design Engineering: An Empirical Study of What Makes Good Downstream Fine-Tuning Samples for LLMs
https://arxiv.org/pdf/2404.13033.pdf
https://github.com/beyondguo/LLM-Tuning

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。