本文研究了大型语言模型（LLM）在金融情绪分析中的应用，通过微调和适应策略，使得小型LLM在金融任务上的性能与大型模型相当，同时更高效。实验表明，针对金融领域的LLM在特定任务上超越了通用LLM，且提出了一种生成指令数据集的方法。尽管有局限性，如生成任务和未见过的任务上的表现，但未来可能通过低秩适配器等技术进一步改进。
本文是LLM系列文章，针对《Large Language Model Adaptation for Financial Sentiment Analysis》的翻译。
摘要
自然语言处理（NLP）最近通过提供对公司和市场财务文件的高度有价值的见解，在金融机构中获得了相关性。然而，由于文本的复杂性和特定术语的使用，金融领域的前景给NLP带来了额外的挑战。即使在使用具有良好自然语言理解和生成能力的大型语言模型（LLM）时，泛化语言模型也往往无法完成专门为金融量身定制的任务。本文针对金融领域，高度重视金融情绪分析，对LLM自适应方法进行了研究。为此，使用多种策略对两个参数小于1.5B的基础模型进行了调整。我们表明，通过对财务文件和说明进行仔细的微调，这些基础模型可以适应目标领域。此外，我们观察到，小型LLM的性能与大型模型相当，同时在参数和数据方面更高效。除了模型之外，我们还展示了如何通过LLM生成人工指令，以增加指令数据集的样本数量。
1 引言
2 相关工作
3 方法
4 结果
5 结论
该项目涵盖了财务LLM的广泛方面。通过
已下架不支持订阅
扫一扫
428
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
