机器学习（非传统统计方法如回归）在量化金融方面有哪些应用？

508 人赞同了该回答

source：机器学习（非传统统计方法如回归）在量化金融方面有哪些应用？ - 知乎

- - - - - - - - - -

我来贡献几个具体的例子吧，涉及四个方面，主要包括机器学习在做市商业务（market making）或者自营交易（prop trading）中的应用，当然这只是在理论上的探讨，也夹杂个人的小想法，并不是啥机密，希望compliance不要找我麻烦哈哈。

（1） 第一个例子是分类方法（classification）的一个应用。我们都知道交易公司或者券商的对手家（counterparties）有好多不同的“段位”，例如有比较弱鸡的散户（retail flow），也有比较牛逼的其他玩家（Citadel、Two Sigma、Virtu、Hudson River等）。从信息学上讲，散户的订单（order）所携带的信息不多，随机噪音居多，而大玩家的单子就体现了他们所掌握的信息、和对市场行情的判断，因此一个聪明的trader肯定想要区分出来那些野鸡retail flow和身经百战的Citadel，以防被搞。这里，我们就可以很自然的使用到classification，至于用什么变量去分类，用什么分类方法，怎么调节模型系数，以及分完类之后的信息可以怎么使用，大家可以自己动一动脑筋啦。

（2）证券买卖的定价模型（pricing model）。大家都知道金融工具例如股票（equity）、债券（bond）、国债（Treasury）和各种交换（swaps）的价格都包括一个中间价（mid price），和在中间价两边的买家和卖家价（bid price 和 ask price）。通常，尚未执行的订单中，bid price < mid price < ask price。当然，在固定收益类的产品中，价格可以是利率（rates）、差价（spread）等等，但总之，这里关键的概念是bid、mid和ask的关系。这三个价格的关系可由下图直观表现：

那么，对于trader来讲，一个定价模型起码应该包括两个部分：一个mid price模型、和一个bid-ask spread模型，两者组合起来就可以对顾客进行简单的报价。对于mid price，数据的来源可以是交易所即时发布的交易或挂单情况，对于北美市场，也可以是来自于consolidated tape的成交信息。

然而，这些数据源的噪音巨大，而且数据更新的频率很快，大多在毫秒甚至微秒级别。因此各种降噪手法（noise reduction）在这个情景中可以大展身手，我们希望通过降噪来获得一条平稳的mid price曲线。为此，我们可以使用很多非线性方法，首先是各种样条函数（spline methods），尤其是B-splines，其中knots和degree的选择需要认真调节。更加精彩的方法包括各种滤波（filter），例如卡尔曼滤波（Kalman filter）。

卡尔曼滤波把过程（process）分为两类，一类是可以被观测到的测量值（measurement），一类是隐藏的状态变量（state）。建模者需要指定描述这两类变量的函数关系（�），此外，我们还需要指定隐藏变量关于时间的变化（� ），这里面可以使用简单的时间序列模型（time series）。下图描述了一个卡尔曼滤波的基本逻辑。卡尔曼滤波的一个经典应用是军事中对导弹飞行轨迹的估计。这里，我们的数据源（measurement）是雷达对导弹位置的测量，但雷达的测量是有偏差/噪音的，导弹的飞行也有抛物线和流体力学之外的噪音，所以我们需要根据雷达测量来推测导弹的实际位置（state）。

价格的模型原理也一样，我们只不过把数据源从雷达信号替换成了交易信息，把隐藏变量从导弹的真实位置替换成了mid price。当然，这种模型的缺点就是没有基本面和经济逻辑，当市场的判断出现系统性偏差时，这个模型生产的价格也就毫无意义。下图是一个卡尔曼滤波为正弦函数降噪的实例，黑线是正弦函数，蓝点是带噪音的被观测到值，红线是过滤后的估计值，可见效果还不错：

（2） 差价模型（bid-ask spread）。有了中间价格，我们需要还需要一个差价模型。这可以是一个运筹学中的优化问题，我们的（极度简化版本）目标函数是： max ���(�)(�−�) 其中， ��(�)代表定价为 � 时顾客购买的概率， � 代表成本。当然，真实的模型要复杂得多，比如成本是一个未知的变量（有很多estimators）， ��(�) 要被 ��(spread) 所替代，这里， ������=���−��� 。

直觉上，我们很好理解，报价 � （或者差价 ������ ）越大，顾客越不愿意与其进行交易，就好比一个西瓜大概值个5块钱，我说6块卖给你，你说行，但我如果要价100，你肯定不干...... 所以 ��(.) 是一个关于 � 的递减的概率密度函数。具体的估计有很多手法，其中很多non-parametric的方法，同时还要注意各种统计问题，例如数据不全（incomplete data）、控制各种变量等等。

（4）最后再说一种很浮夸的玩法，跟trading就没有太大关系了。加州Mountain View有一个Google Venture投资的科技公司叫Orbital Insight。他们专门用神经网络和深度学习去识别商业卫星拍摄的图片（我猜测大部分是和object recognition相关的技术），然后推测出很多和经济/金融相关的数据/信号。比如他们用卫星拍摄的沃尔玛门前的停车场图片，查一查汽车的数量，去推测这个季度沃尔玛的销售情况：

或者拍摄炼油厂和储油罐的照片进行分析，来推测现在市场上的石油供应量，如下图：

详细信息可以看我的另外一个回答：有哪些「神奇」的数据获取方式？ - 知乎

编辑于 2017-05-05 22:37

​赞同 508​​17 条评论

​分享

​收藏​喜欢收起​

Clever Liu

路人甲

​ 关注

编辑推荐

等 2 项收录

998 人赞同了该回答

尝试回答一下这个问题，也算是对自己阅读的一些论文的总结，顺带谈下一点自己的思考。前一阵子被吐槽说中英夹杂，也不是为了装逼，因为其实翻译过来，意思反而有了偏差。

如果你去搜索早期的神经网络、SVM的相关论文，会发现不少是做股票预测的。原因很简单，因为似乎我们可以天然地把股票投资的问题看成一个分类问题或者回归问题。回归的角度，我们可以根据之前的历史数据，预测下一个时间点的股价；分类的角度，我们可以根据历史数据，预测下一个时间点股价的正负。看起机器学习的方法可以完美适用了。不过这个结论显然是错的，因为如果真的完美适用，那么机器学习的大牛们怕是已经赚发了以致无心学术。

那么，问题在哪里？我个人的观点，大家没有太多关注机器学习算法能够奏效的假设（assumption）。以分类问题为例，分类算法能够奏效的假设是在同一类下，样本数据应该是独立同分布（i.i.d）.的。而股票价格数据特点就是，股票收益率曲线的自相关性（autocorrelation）极低，噪声大，而且不稳定（stationary）。如果明白了这两点，我们再回过头去看这类文章的思路，就发现了问题。绝大部分文章在提取特征方面基本没下什么功夫，就靠股票的return的信息来构成pattern。这样，因为股票收益曲线的不稳定、高噪声、低相关性，使得最终做成的模式（pattern）没法满足在同一类的情况下i.i.d的条件，因此，这类方法的失败也是必然的。如果你仔细观察，会发现这类文章喜欢使用IBM啊MSFT啊这样的股票做实验，为什么？因为这种顶级公司股票的价格比较稳定，噪声少，相关性强。

不过，近年来已经有一些研究者开始从别的角度思考问题。传统的机器学习方法使用的基本是是股票的日线图和月线图。实际的股票交易大部分是使用限价订单（limit order book）的，一些能够得到数据的研究者，开始思考将机器学习的方法应用于限价订单层次的数据上，典型的论文就是今年新晋的ACM fellow，Michael Kearns在ICML06上发表的Reinforcement learning for optimized trade execution 不同于之前的论文，这篇文章试图为历史数据的每一个时间点构建状态（state），这样可以将增强学习的框架应用其中。这提供了与以前截然不同的思路，不过也并没有从假设的层面证实文章的方法确实是适应限价订单数据性质的。

在种种的失败之后，开始有一些机器学习领域的研究者认识到，如果想在股票投资的问题上成功，似乎不能够独立于股票数据固有的性质。于是开始有一些方法，试图利用股票数据既有的性质，来设计在线学习（online learning）的算法。典型的是之前NTU计算机系的PhD， Bin Li在ICML,IJCAI的一系列论文。他的核心其实就是抓住了股票的均值回归（mean reversion）的性质。简单的理解，均值回归认为股票有它自己的隐含价值，股价在这个值附近波动。他的这一系列论文，其实就是在怎么找这个'均值'方面有些许变化。在时间点t，最开始他认为这个均值就是t-1的股价，后来他又认为这个均值是过去一个窗口时间上的均值。这些论文的思路、算法都很简单容易理解，但是包含的思想是前人不曾有过的，就是利用股票数据的性质设计算法，而不是硬将数据往既有的机器学习算法里套。他现在已经凭借这些论文在武大金融系当上了副教授。

一家基金公司，通常会同时运行好多种策略进行投资。这就产生了另外一个问题，应该如何给这些策略动态地分配权值？机器学习领域有很多类似的问题，比如我要做一个分类问题，我有好多个分类器，如何集成（ensemble）它们使得它们的表现比较好？关于多种策略的权值问题，Das在KDD11的paper，Meta optimization and its application to portfolio selection中有详细的讨论。这类方法被称为Meta-Learning Algorithm。

现如今的股票交易已经比几十年前要复杂的多，催生了很多新的交易场所和交易类型。这也给机器学习的专家们很多的机会。典型的例子是Michael Kearns在UAI09年发表的Censored exploration and the dark pool problem。这篇文章是描述暗池交易的，我在另一个回答里也提到过。向某个暗池提交v股的交易量，如果实际成交量小于v，我们知道其容量；而如果实际交易量就是v，则只能知道其实际容量是大于v的。假使在某时刻，我们需要在K个暗池中交易V手股票，我们就需要根据历史数据推断哪些暗池的容量大，在这些暗池里我们就多投入。如果暗池的容量都stochastic的，是不是就是另外一个更复杂的故事了？事实上已经有很多后续的工作来讲述这个故事，不过不是机器学习界，而来自主流的金融工程界和运筹学界。

那么机器学习界最为红火的深度学习（deep learning）在这个问题上是否有所斩获？前一阵子看新闻说，已经有几个人利用DL的技术开了家对冲基金公司，赚了很多钱。那么DL问题在交易上的作用可能体现在哪里？我自己没事儿也YY过这个问题，我觉得可能是在统计套利方面。最简单的统计套利方法是看股价的相关性，比如A和B两只股票价差一向稳定在10块钱，某天价差突然跌倒5块钱，统计套利就假设，这个价差会恢复到10块钱，那么我们就可以就此设计交易策略。如果股价价差真的恢复了，那么就可以实现套利。但是显然，这样的关系可能不是那么明显地存在于股票的价格中，可能存在于收益曲线中或者方差曲线中，甚至更高复杂度的统计量中。DL提供了将原数据投影到另一个特征空间中的方法，而且是高度非线性的。那么，原数据中没有体现出来的相关性，会不会在这种高度非线性的投影空间中体现出来呢？如果有体现，是不是能够设计交易策略实现套利呢？这是我自己的一点点思考。

编辑于 2015-02-06 08:49