David Silver深度强化学习第10课

纳什均衡中所有人都达到最优策略，没人愿意改变策略，改变意味着漏出破绽，别人就会改变策略，打败你。

纳什均衡策略，就是你的最优策略，也是别人的最优策略，是所有参与者的最优策略。这个策略没有漏洞，无法被针对，其余的策略，都是可以被针对的，这一个是例外的。

可以这么理解：游戏玩家不停的根据对手的策略修改自己的策略，直到所有人都达到一个最优的策略，那就是纳什均衡。

别人改变策略，你的rl环境就变了，你改变策略，别人的rl环境就变了。大家不停的升级，直到纳什均衡，所有人的策略都不变，这时就是最后一个MDP问题，解决这个问题，就是最优策略。

还可以这么理解：游戏玩家不停进化策略，但是这个进化有个终点。因为有一个游戏规则，这个游戏规则确定了进化终点，即纳什均衡。

多人对弈的时候，假设所有玩家都是高手，玩家不停的优化自己的策略，最终会达到纳什均衡，玩家不再调整自己的，此时对弈就变为一个MDP问题。这个MDP问题的最优策略就是玩家的最优回应。

Minimax Search 可以理解为对弈双方都走出最强手后的棋盘价值函数。我的最强手最大化我的价值函数，对方的最强手最小化我的价值函数。

所谓的afterstates就是action之后，只有一个固定的state，不存在概率跳转到不同的state，比如围棋象棋就是这样的游戏。