【文献学习】强化学习3：基于数据的方法

参考文献：[1]《强化学习》.邹伟,等.（鳄鱼书）
（还是和之前一样，是读书过程中实时整理的笔记，如果能够帮助别人最好不过，如果有理解不当处也万望看到的大神多多指教）
这段可以结合其他前辈的博文看：https

学习：针对环境模型未知的情况，智能体通过与环境进行交互，从产生的真实数据中直接学习值函数或策略函数，属于无模型方法。
规划：智能体不与环境发生实际交互，而是想办法构建一个环境模型，利用其构建的模型来产生模拟数据，依此求解值函数或策略函数，属于基于模型方法。
规划过程和学习过程的机理一样，位移的不同是数据来源：一个真实经验数据，一个是模拟经验数据。
下图给出了Dyna的规划步骤。

监督式学习解决问题：1）选择一个损失函数表示预测值与真实值的不一致程度；2）采用响应的优化方法，使得经验损失最小，从而提高模型鲁棒性。

Dyna框架及相关算法

Dyna不是一个具体的算法，而是一个组合模型和无模型算法的框架。
在Dyna框架下，智能体有两种经验来源：实际经验和模拟经验。
实际经验来源于真实环境：
s ′ ∼ P s , s ′ a s'\thicksim P_{s,s'}^a s′∼Ps,s