熵简技术谈 | 金融情绪分析真的有用吗？一起来看金融情绪分析的研究进展及应用实践

导读：随着近十年来自然语言处理技术以及互联网社交媒体的发展，基于市场情绪提取的金融分析作为一项主要的技术手段，已经被广泛的研究并应用到多种实际的投资辅助决策系统中。

在这篇文章中，熵简科技的NLP团队将会对金融情绪分析这个重要的应用方向进行全面的介绍，重点对金融情绪分析的发展历程及其有效性、主要技术手段和最新的应用案例进行详细的论述和讨论。

作者信息：文本出自熵简科技 NLP 算法团队，团队利用迁移学习、少样本学习、无监督学习等深度学习领域最新的思想和技术，为熵简科技各大业务线提供底层 AI 技术支持和可落地的解决方案，包括前沿算法的领域内落地以及持续部署的后台支持等。

一、金融情绪分析的发展历程

在这一部分，我们先简单回顾一下基于市场情绪的金融分析技术在整个发展阶段的演进历程。早在上世纪八十年代，金融从业者就已经开始尝试运用技术手段进行股市预测，这一阶段主要通过计量经济学的手段进行各类模式或趋势的挖掘。

到了九十年代，人们开始尝试引入自然语言处理技术进行股票预测，但受限于技术的朴素、简单，效果甚微，并没有引起太多的重视。在这一时期，进行股票预测的指导理论主要以金融学的随机游走理论和有效市场假说为主，这一假说倾向于认为投资者是理性的，所有的信息都可以即刻反应在股价中，因此市场情绪对于股市的预测价值很低。

但与此同时，也有一部分行为金融学的观点认为，至少从两个方面来看，有效市场假说存在事实上的问题：

第一，交易中不可避免存在非理性交易者，这部分交易者会给价格带来额外的风险，使得理性交易者也不敢全力投入；

第二，在某些极端情绪下，专业套利者可能由于某些限制原因，例如资本限制等，而无法有效地纠正股票价格。这些因素都可能导致股票的实际价格与基本价值不一样，造成套利行为无法消除投资者情绪引入的价格漂移，因而市场情绪指标可能具有一定的预测性。

在这些研究的基础上，随后的十年里，也就是本世纪的头十年中，越来越多的研究开始投入到市场情绪与股市关系的研究中。在这一时期，常用的方式是将新闻与股价信息结合起来进行股价预测，在技术手段上多采用独热码编码的词袋模型结合支持向量机（SVM）。

同时，一些机构通过提供金融指数或者经济学指数来间接的推断投资者市场情绪。例如，美国个人投资者协会（the American Association of Individual Investors）会进行每周一次的线下调查，了解人们对于加下来六个月的股票看跌还是看涨的态度，从而形成 AAII 情绪指数。类似的还包括 BW月度指数、UMSC 指数 和 II 指数等，许多研究也表明这类基于线下调查的情绪指数对于股市具有一定的预测作用。

从 2010 年前后开始，随着社交媒体的广泛使用，如全球月活超过20亿的 facebook、月活3亿的 twitter 以及国内月活5亿的微博等等，人们通过各种数据挖掘技术发现，社交媒体上的海量数据可以用于多种业务场景，比如商品销售预测、管理品牌声誉、识别罪犯。自然，人们也进一步有充分理由认为，社交媒体中传达出的市场情绪或投资者情绪，可以在一定程度上对股票进行预测。

与此同时，随着神经网络技术的复苏，NLP技术也在近十年得到了很大的发展。在2013年，以 Word2Vec 为代表的的词嵌入技术将 NLP 带入了深度学习1.0 时代，再到 2018年，以 BERT 为代表的深度预训练语言模型将 NLP 带入了深度学习 2.0 时代。

在社交媒体和NLP技术的红利下，基于市场情绪的金融分析技术在近十年也得到了更加广泛和深入的研究和应用。我们希望通过本文，对于金融场景下的市场情绪分析，能够一定程度上回答以下的三个问题：

市场情绪分析真的有用吗？

从社交媒体中提取市场情绪的常用技术手段有哪些？最新效果如何？

近年来，市场情绪分析在金融分析中有哪些应用案例？

在案例分析部分，我们将集中分享和讨论最近三年的应用案例，将最新和最有启发意义的成果呈现给大家。

二、金融情绪分析的主要技术手段

本小节主要讨论从