David Silver深度强化学习第8课

利用数据建立MDP模型，解出转化概率函数和reward函数
从模型中采样
对采样执行model-free rl（只所以对模型采样，而不是硬解模型预测未来，是为了提高效率，采样可以聚焦于大量出现的重要的事件）

dyna算法核心
learn and plan value function or policy from real and simulated experience

forward search 解从当前状态开始的MDP，不用求解整个MDP

Simulation-based search
从当前状态抽样，然后在抽样上执行model-free rl
MC control -> MC search
salsa -> TD search

tree policy pick actions to maximise Q（S，A），针对已经确定Q值的状态
default policy pick actions randomly

MC tree search
MC control applied to simulated experience， 不停计算q值，更新策略，找出当前状态的最大q值和最优策略
从当前状态开始，计算未来状态的Q值。而未来状态的Q值，会影响当前状态Q值，从而影响当前状态的action和探索方向
从当前状态深入未来状态，算出来的Q值，一层层的回归到当前状态

dyna2
TD learning + TD search 最牛逼