利用数据建立MDP模型,解出转化概率函数和reward函数
从模型中采样
对采样执行model-free rl(只所以对模型采样,而不是硬解模型预测未来,是为了提高效率,采样可以聚焦于大量出现的重要的事件)
dyna算法核心
learn and plan value function or policy from real and simulated experience
forward search 解从当前状态开始的MDP,不用求解整个MDP
Simulation-based search
从当前状态抽样,然后在抽样上执行model-free rl
MC control -> MC search
salsa -> TD search
tree policy pick actions to maximise Q(S,A),针对已经确定Q值的状态
default policy pick actions randomly
MC tree search
MC control applied to simulated experience, 不停计算q值,更新策略,找出当前状态的最大q值和最优策略
从当前状态开始,计算未来状态的Q值。而未来状态的Q值,会影响当前状态Q值,从而影响当前状态的action和探索方向
从当前状态深入未来状态,算出来的Q值,一层层的回归到当前状态
dyna2
TD learning + TD search 最牛逼