Salesforce：LLM在金融场景的调优实践

📖标题：Demystifying Domain-adaptive Post-training for Financial LLMs
🌐来源：arXiv, 2501.04961

🌟摘要

🔸大型语言模型（LLM）的领域自适应岗位培训已成为医学和金融等专业领域的一种有前景的方法。然而，在确定不同数据和模型配置的最佳适应标准和训练策略方面仍然存在重大挑战。
🔸为了应对这些挑战，我们引入了FINDAP，这是一项对金融领域LLM领域适应性岗位培训的系统和细粒度调查。我们的方法首先确定目标领域所需的核心能力，并设计一个与这些需求相一致的全面评估套件。然后，我们分析了关键岗位培训阶段的有效性，包括持续的预培训、教学调整和偏好调整。基于这些见解，我们提出了一种以一种新的偏好数据蒸馏方法为中心的有效训练配方，该方法利用了来自生成奖励模型的过程信号。
🔸由此产生的Llama-Fin模型在广泛的财务任务中实现了最先进的性能。我们的分析还强调了每个后训练阶段如何为不同的能力做出贡献，揭示了具体的挑战和有效的解决方案，为LLM的领域适应提供了宝贵的见解。详见https://github.com/SalesforceAIResearch/FinDap

🛎️文章简介

🔸研究问题：在金融领域应用大型语言模型（LLM）时，如何通过领域自适应后训练（Domain-adaptive Post-training）提升模型在金融任务中的表现？
🔸主要贡献：论文提出了一个名为FINDAP的金融领域自适应后训练框架，包括一个全面的评估框架、先进的模型检查点和训练方法，显著提升了模型在金融任务中的表现。

📝重点思路

🔸数据准备：通过精心筛选和整理金融领域的文本数据，确保数据的高质量和多样性。还引入了一小部分通用领域的文本数据，以确保模型在适应金融领域的同时不遗忘一般领域知识。
🔸持续预训练（CPT）：在金融领域的文本数据上进行预训练，以引入领域特定的概念。
🔸指令微调（IT）：在金融领域的任务数据上进行微调，以提升模型在特定任务上的表现，同时保持对一般任务的适应能力。
🔸联合训练：还探索了联合训练CPT和IT的方法，以防止模型在持续预训练过程中遗忘指令遵循能力。
🔸偏好对齐（PA）：提出了一种新的偏好对齐方法，通过奖励模型指导搜索轨迹来确定最佳推理路径，进而构建偏好数据，以增强模型的推理能力。
🔸实验设计：通过对比实验，评估不同训练策略（如全模型微调与参数高效微调）的效果，并验证联合训练（CPT+IT）的有效性，产出Llama-Fin。

🔎分析总结

🔸持续预训练（CPT）的有效性：CPT能够有效提升模型在金融领域的表现，但可能导致模型遗忘一般领域的指令跟随能力。
🔸指令微调（IT）的补充作用：IT能够有效补充CPT，防止模型遗忘指令跟随能力，并提升模型在金融和一般任务上的表现。
🔸偏好对齐（PA）的推理增强：PA显著提升了模型的推理能力，特别是在金融领域的复杂任务上。
🔸联合训练的优势：联合训练CPT和IT在金融和一般任务上均表现出色，优于单独训练的方法。
🔸Llama-Fin的优越性：Llama-Fin在多个金融任务上超越了现有的基线模型，包括GPT-4o，展示了其在金融领域的强大适应性和泛化能力。

💡个人观点

论文的核心是介绍了金融领域调优的实践路线。

🧩附录