Minimax算法

Minimax算法又名极小化极大算法，是一种找出失败的最大可能性中的最小值的算法。

概述

Minimax算法常用于棋类等由两方较量的游戏和程序。该算法是一个零总和算法，即一方要在可选的选项中选择将其优势最大化的选择，另一方则选择令对手优势最小化的方法。而开始的时候总和为0。很多棋类游戏可以采取此算法，例如井字棋（tic-tac-toe）。

伪代码

function minimax(node, depth)
 if node is a terminal node or depth = 0 return the heuristic value of node if the adversary is to play at node let α := +∞ foreach child of node α := min(α, minimax(child, depth-1)) else {we are to play at node} let α := -∞ foreach child of node α := max(α, minimax(child, depth-1)) return α


马尔可夫决策过程(Markov Decision Process, MDP)也具有马尔可夫性 MDP


Actor Critic的命名我们也可以更好的理解Policy Gradient。Actor就是policy network，用来输出动作，而Critic对应value network，就是评价动作用的，通过Critic来引导Actor的更新。