【点宽专栏】虚拟遗憾最小化（CFR）之量化择时与交易

谷歌DeepMind公司研发的AI围棋AlphaGo在去年嗨翻天的时候，让我觉得现在的机器学习学习技术真的很NB，因为自己的专业，私下一直有关注机器学习在量化投资这块的一些实践。昨天看到广发出了一篇名为《虚拟遗憾最小化应用于量化择时与交易》的文章，让我眼前一亮，感觉这都怎么了啊。但是看到最后的结果，也不是很理想。这样看来，也是情理之中。很多高大上的东西，要放在金融市场去真正赚钱，这倒不见得会有多么好。除了市场本身外，自身的研究水平也是一方面。经常听朋友说，大道至简，其实也是蛮有道理的。无论什么模型，最终能够持续盈利，才是一个良好发展取向，但是不妨碍我们在量化投资的道路上的探索前行！

今天就来学习一下这篇文章，部分内容来自报告本身，部分是我自己整理总结的。

好了，话不多少，让我们来见识一下虚拟遗憾最小化（CFR）吧！

一

BlackRock(贝莱德)创始人及首席执行官：
“信息的民主化使得主动性投资变得越来越难做。我们必须改变生态系统，更多地依赖大数据、人工智 能、量化等手段”。

二、德州扑克中的AI
德州扑克是一项标志情商、智慧和勇气的牌类游戏，自20世纪初诞生便风靡全球，深受各个不同职业群体玩家的青睐。德州扑克和围棋的一个主要不同在于：围棋是一种“完美信息”博弈，即对于玩家而言，游戏中所有的信息都已经在棋局中体现出来；而德州扑克是一种“不完美信息”博弈， 游戏玩家并不知道游戏中所有的信息，比如对手的手牌和桌上未翻开的公共牌，存在隐藏的信息，同时还有诈唬等心理战术。这些特点使得德州扑克更贴近生活中真实的拍卖、谈判等金融政治博弈场景，所以德州扑克也许是测试人工智能是否能够应付这些情景的一个平台。

2017年1月,卡内基梅隆大学人工智能机器人Libratus与四位更强的人类职业德扑玩家进行为期20天，共12万手的比赛，共计领先人类团队176万美元的虚拟筹码。2017年4月，创新工场李开复邀请Libratus与2016世界德扑大赛WSOP金手链冠军率领的“龙之队”比赛， 又一次完胜人类选手。而Libratus的开发正是基于虚拟遗憾最小化算法（Counterfactual Regret Minimization）。

由于虚拟遗憾最小化算法的资料不是特别多，我从这里学习到一些知识。大家可以看看（论文太长了，需要花时间去琢磨）：

在这里要学习CRM也是有要求的，你可能需要具备以下的条件：

必须深厚的数学功底，能够理解复杂的代码和伪代码。必须有过硬的编程技能和熟悉Java语法和语义。在c++中应该能够遵循Java大部分的例子。

要看个资料(Leyton-Brown and Shoham’s “Essentials of Game Theory”, Morgan & Claypool, 2008)。

2.1. 虚拟遗憾最小化的思想和基本概念
CFR是基于非完全信息的博弈的。所谓非完全信息，就是在做决策的时候，有一部分信息是对玩家未知的，比如在德州扑克中，对手手上的牌就是一个未知信息。

首先对于一局游戏（如德州），可以把其转化成是一个树状结构。每一个盘面的状态(State)（包括玩家手上的牌，当前的下注等游戏相关信息）都是树的一个节点。在树的每一个节点上，玩家都可以从一系列的动作(Action)中（下注，放弃等）选择一个，然后盘面状态发生转换，从节点A变成节点B。因此每一个当前状