转载自:https://zhuanlan.zhihu.com/p/72642285
model-based RL这个方向的工作可以根据environment model的用法分为三类:
1.作为新的数据源:environment model 和 agent 交互产生数据,作为额外的训练数据源来补充算法的训练。
2.增加决策的context信息:在进行Q值或者V值预估时,environment model 和agent做交互,交互过程中的信息作为context提供给agent来帮助其决策。
3.增加Q值预估的质量:在进行Q值预估时候,会通过environment model 来展开一定步数,然后结合model-free的Q值预估来给出一个更高准确的Q值预估。
其中3和2有点类似,但是2一般和planning结合,3的话则更多用于off-policy的RL算法中