Deep Reinforcement Learning for Market Making 深度强化学习做市 论文笔记和心得体会

摘要

做市是一种高频交易策略，在这种策略中，经纪人提供流动性，同时对一种资产报出买入价和卖出价。做市商通过买入和卖出价格之间的价差来获取利润。由于库存风险、交易对手和信息不对称的复杂性，各学科的学者对做市算法的理解相对缺乏探索。在本文中，我们开发了极限或极限市场的真实模拟，并利用它设计了一个使用深度循环q -网络的做市代理。我们的方法优于文献中的一个杰出的基准策略，该策略使用时间差分temporal-difference强化学习来设计做市商代理。代理成功地从每次模拟中重现历史贸易数据中的程式化事实。

This paper uses a variant of Deep Recurrent Q-Networks (DRQN) to design market making agents interacting with realistic limit order book simulation framework.
本文利用深度递归q -网络(DRQN)的一个变种，设计了与现实的限价订单簿交互的做市代理仿真框架。

文章的贡献

本文的主要贡献是开发了限价单市场的真实模拟，并利用它设计了一个使用DRQN的做市代理。

该模拟框架考虑了代理的延迟，并按照NYSE的定义计算了累积的制造者/接受者费用。

我们修改了经典的DQRN架构，并纳入了双Q学习和优先级经验（double Q-learning and prioritized experience ），以考虑波动、流动性不足和停滞的市场。

我们的方法优于文献中的一个突出的基准策略，这个基准策略使用时间差异（TD）强化学习来设计做市商代理。

结论

在本文中，我们使用深度循环q网络设计了一个做市代理，其性能优于