Pre-trained Large Language Models for Financial Sentiment Analysis

最新推荐文章于 2024-11-12 10:35:21 发布
最新推荐文章于 2024-11-12 10:35:21 发布
阅读量432 收藏 9
点赞数 10
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136182224
版权
LLM 日更 专栏收录该内容
828 篇文章 3 订阅

已下架不支持订阅

本文研究预训练的大型语言模型（LLM）在金融情绪分析中的应用，尤其是财经新闻标题的分类。通过使用开源的Llama2-7B模型结合监督微调（SFT），即使在少量训练样本的情况下，也能显著优于先前的算法，实现新的最优性能。
摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Pre-trained Large Language Models for Financial Sentiment Analysis》的翻译。

用于金融情绪分析的预训练大型语言模型

摘要

金融情绪分析是指将金融文本内容分为情绪类别（如积极、消极和中性）。在本文中，我们重点研究财经新闻标题的分类，由于缺乏大量的训练样本，这是一项具有挑战性的任务。为了克服这一困难，我们建议微调预训练的大型语言模型（LLM）来解决这个问题。LLM是从大量的文本语料库中训练出来的，在文本理解方面具有优势，并且可以有效地适应特定领域的任务，同时只需要很少的训练样本。特别是，我们将开源的Llama2-7B模型（2023）与监督微调（SFT）技术相结合。实验评估表明，即使使用7B模型（LLM相对较小），我们的方法也显著优于以前最先进的算法。数据和代码在https://github.com/luosting/LLaMA-Financialsentiment-analysis可用。

1 引言

2 相关工作

3 方法<

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

大型语言模型：基础知识及其应用 Large language models: The basics and their applications
AI天才研究院
07-01 3750
此外，它们还可以用于语言翻译软件，将文本从一种语言准确地翻译成另一种语言，使说不同语言的人之间的交流和理解变得更加容易。语言学习模型具有强大的生成能力，使其成为企业的宝贵资产。LLM的生成能力可以创建书面内容，例如产品描述，营销文案，报告和其他数字资产，例如图像，视频和软件代码。在比较这些模型的性能和功能时，重要的是要注意每个模型都针对非常特定的目的进行了训练，最佳模型将取决于手头的特定 NLP 任务。它已经接受了大量文本数据的训练，可以对广泛的主题和问题产生类似人类的回答，同时保持广泛的对话记忆。
使用LLMs和FinBERT对新闻和报告进行金融情绪分析
xxue345678的博客
10-07 811
本文旨在探讨如何利用大型语言模型（LLMs）和金融领域特定的变体FinBERT进行金融情绪分析（FSA）。研究聚焦于新闻文章、财务报告和公司公告中的情绪分析，强调了零样本（zero-shot）和少样本（few-shot）策略下提示工程（prompt engineering）在提升情绪分类准确性方面的优势。实验结果表明，经过金融文本少样本示例微调的GPT-4o在这一专业领域的表现可以与经过良好微调的FinBERT相媲美。情绪分析在多个领域内用于从文本数据中提取观点和情感，对金融领域尤为重要。
Financial Statement Analysis with Large Language Models论文精读
weixin_52185313的博客
06-17 1813
我们研究了一种大型语言模型（LLM）是否能够像专业人类分析师一样成功地进行财务报表分析。我们向GPT-4提供标准化且匿名的财务报表，并指示模型分析这些报表以预测未来的收益变化方向。即使在没有任何叙述性或行业特定信息的情况下，LLM在预测收益变化方面的表现优于财务分析师。LLM在分析师通常表现不佳的情况下表现出相对优势。此外，我们发现LLM的预测准确性与经过专门训练的最先进机器学习模型的表现相当。LLM的预测并非来自其训练数据的记忆。相反，我们发现LLM生成了关于公司未来表现的有用见解。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.01.01-2024.01.10
小小帅
02-22 774
金融情感分析是指将金融文本内容划分为情感类别（如正面、负面和中性）。在本文中，我们重点关注财经新闻标题的分类，由于缺乏大量的训练样本，这是一项具有挑战性的任务。为了克服这一困难，我们建议使用预训练的大型语言模型（LLMs）[1, 2, 3]来解决这一问题。LLM 由大量文本语料库训练而成，在文本理解方面具有优势，可以有效地适应特定领域的任务，同时只需要很少的训练样本。特别是，我们利用监督微调（SFT）技术对开源的 Llama2-7B 模型（2023）进行了调整[4]。
FinLlama: Financial Sentiment Classification for Algorithmic Trading Applications
cdxxsq的博客
04-05 1984
尽管标普500包含500家公司，但在2015年2月至2021年6月的测试期间收集的金融文本数据并未包含与某些公司的关联文章。因此，最终考虑了417家公司。
FinGPT: Open-Source Financial Large Language Models FinGPT：开源金融大型语言模型
cdxxsq的博客
04-03 2256
大型语言模型（LLMs）已展现出在多个领域革新自然语言处理任务的潜力，因此在金融领域引起了极大的兴趣。访问高质量金融数据是金融LLMs（FinLLMs）面临的首个挑战。尽管像BloombergGPT这样的专有模型利用了其独特的数据积累优势，这种特权访问促使人们寻求一个开源的替代方案，以民主化互联网规模的金融数据。在本文中，我们介绍了一个针对金融部门的开源大型语言模型，FinGPT。与专有模型不同，FinGPT采取了以数据为中心的方法，为研究人员和实践者提供了可访问和透明的资源，以开发他们的FinLLMs。
Large Language Models Are Implicitly Topic Models大语言模型是隐式主题模型论文解读
chen030209的博客
10-20 982
Large Language Models Are Implicitly Topic Models论文解读
时序预测发论文新方向！大模型+时间序列引爆顶会
人工智能讲师分享前沿技术
07-24 1168
为帮助大家掌握大模型时代时间序列预测的研究方法，今天给大家分享58篇必读论文，原文和代码都有。
【21.09-21.10】近日Paper Quichthrough汇总
SUFEHeisenberg的博客
10-16 995
【21.09-21.10】近日Paper to Mention汇总 文本分类 1. PTR: Prompt Tuning with Rules for Text Classification Paper Url 摘要： 经过微调的预先训练的语言模型(PLMs)在几乎所有的NLP任务中都取得了令人惊叹的表现。通过使用额外的提示对plm进行微调，我们可以进一步激发分布在plm中的丰富知识，更好地服务于下游任务。提示调优在情感分类和自然语言推理等少数分类任务中取得了很好的效果。然而，手工设计大量语言提示符既麻
一周新论文 | 2020年第10周 | 自然语言处理相关
语言智能技术笔记簿
03-04 9090
《一周新论文》系列之2020年第10周：自然语言处理相关
What is Deep Learning? An Introductory Survey on its Ad
AI天才研究院
10-09 689
作者：禅与计算机程序设计艺术Deep learning is a subfield of machine learning that has revolutionized the way computers learn and understand data. It involves using artificial neural networks to discover patterns in complex datasets, which are often used in natural langua
机器学习系列----岭回归（Ridge Regression）简介及实现
DK22151的博客
11-09 991
岭回归（Ridge Regression），也被称为Tikhonov正则化，是一种线性回归的变体。它通过在普通最小二乘法（OLS）回归中加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数，使得它们保持较小的值，从而减少过拟合的风险。岭回归适用于当特征之间高度相关时（即多重共线性问题），普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项，约束了模型参数的大小，从而使得模型更加稳健。
PCA（主成分分析）算法的应用场景
huanfeng_AI的博客
11-09 528
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 3342
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 627
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 408
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 959
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
人工智能是这样理解“情绪”的
最新发布
JellyAI的博客
11-12 841
在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个数据来描述盒子的特征时，我们就说这个盒子的特征是三维的。如果再加上颜色、重量和材料等特征，那么这个特征空间就是六维的了。
Practical Program Repair in the Era of Large Pre-trained Language Models
05-18
是一篇与自动程序修复相关的论文，它提出了一种基于预训练语言模型的程序修复方法，该方法使用了大规模的自然语言处理模型来辅助程序修复。具体来说，该方法首先使用自然语言处理模型来理解程序的语义，然后根据理解结果对程序进行修复。 这种方法的优点在于它利用了预训练语言模型在自然语言理解方面的显著进展，从而提高了程序修复的效果。同时，该方法还可以通过对不同类型的错误进行建模来提高修复的准确性和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值