基于强化学习的中间商赚差价指导手册

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

本文研究的主要问题是做市商如何在证券交易市场上发布有效的买卖限价单以最大化净期望利润，同时有效控制潜在风险。为提出一套简单有效的交易策略，本文使用强化学习方法-Q学习实现在无需对环境进行建模的条件下，找到最大化期望收益的交易策略(即根据不同市场条件发布的买卖报价以及交易单量)，并通过对马尔可夫过程状态变量的降维来降低计算复杂度。本文使用的数据是芝加哥商品交易市场某期货商品在2019年的交易数据和市场数据。根据Q-学习模型得到的最终交易策略在某芝加哥自营交易公司的内部回测中通过样本内和样本外测试，其表现显著超过一系列常用的基准交易策略以及公司现行的交易策略。

钟月漾：本科毕业于清华大学工业工程系，目前为芝加哥大学布斯商学院运营管理系博士，现师从 Amy R . Ward 教授，主要研究方向为随机规划、排队理论和强化学习在服务运营管理领域的应用。

一、证券市场的两种模式

本次分享内容是强化学习在金融市场场景下的应用，是综合了强化学习和数据驱动的方法来解决金融问题，对证券市场中的证券交易方式和时机提供了一种指导方案。

在美国的股票市场中，70%是以电子交易进行的，其有两种类型，一种是限价单，一种是市价单，接下来首先解释说明这两种类型的概念。

首先是限价单（limit order），顾名思义就是限定价格的订单，分为买方和卖方两种类型。具体而言，限价单会指定一个交易价格投放到市场，此类订单不会立即完成交易，只有在市场价格达到订单指定的价格后才会生效。一般买方的订单价格被称为买价（bid price）；卖方的订单价格被称为卖价（ask price）。上图所示的是一个存储了所有在市场中未成交的限价单的本子，称为限价订单簿（limit order book）。其中每一个坐标轴位置代表一个价格，所处位置的矩形代表积累的限价订单数量，所有被投入市场且未被交易掉的限价单就会被存储于这个本子上。

第二种类型的订单是市价单（market order）。与前面限价订单最大的区别在于它不需要限定交易价格，而会以当前市场价格进行交易。此类订单也分为买方和卖方两种类型。结合上图和前面提到的限价订单簿，可以看到完整的交易形式。浅色箭头表示进入市场的限价单，深色箭头表示进入市场的市价单以及市价单和限价单进行交易的顺序。

具体而言，当市价单进入市场之后，它会从最优的市场价格进行交易。对于卖方而言，市场卖单会从最高的买价开始交易，当这个价格的限价单全都被交易完之后，进入下一个次高的买价进行交易，以此类推。同样的对于买方而言，市场买单会从最低的卖价开始交易，再到次底的价格，以此类推。

对于在同一价格的交易，将依照先到先得的规则进行，也就是说最早投入这个价格的限价单会被优先交易，这是一种常见的交易模式。本文将站在做市商（market making）的角度进行决策，做市商的工作就是在市场当中投放限价订单，包括限价买单和限价卖单，通过交易来赚取买卖差价&#x