根据是否建立环境动力学模型的分类
{ 有模型方法:例如动态规划法 无模型方法:如蒙特卡诺、时序差分法 \begin{cases} 有模型方法:例如动态规划法 \\ 无模型方法:如蒙特卡诺、时序差分法\end{cases} {有模型方法:例如动态规划法无模型方法:如蒙特卡诺、时序差分法
根据估计策略还是值函数的分类
{ 基于值函数的方法:动态规划、蒙特卡诺、时序差分、值函数逼近等 基于策略的方法:如蒙特卡诺策略梯度法、时序差分策略梯度法 行动家 − 批评家方法:既有值函数估计,又有策略估计, A C , A 2 C , A 3 C \begin{cases} 基于值函数的方法:动态规划、蒙特卡诺、时序差分、值函数逼近等 \\ 基于策略的方法:如蒙特卡诺策略梯度法、时序差分策略梯度法\\ 行动家-批评家方法:既有值函数估计,又有策略估计,AC,A2C,A3C \end{cases} ⎩ ⎨ ⎧基于值函数的方法:动态规划、蒙特卡诺、时序差分、值函数逼近等基于策略的方法:如蒙特卡诺策略梯度法、时序差分策略梯度法行动家−批评家方法:既有值函数估计,又有策略估计,AC,A2C,A3C