基于模型的强化学习

（1）在model-based RL里，虽然学习MDP模型可以提高强化学习的效率，但是如果模型误差较大可能导致学不到较好的策略，这个问题一般怎么解决？
如果模型学习的不够精准，那就只能用很短很短的rollout来做planning。例如Q-planning就是1步的rollout，这样并不能特别高的提升sample efficiency。
如果模型比较准，那就可以用Model-based Policy Optimization (MBPO)这种方法去做一定长度(k-step)的rollout，这样能进一步提高sample efficiency。

（2）基于模型的强化学习与模型无关的强化学习
基于模型的强化学习（model based），一种是MDP，根据价值迭代或者策略迭代求解。另外一种是，一开始环境未知，通过和环境交互的经验，把这个未知的环境变成一个近似已知的MDP，再用价值迭代或者策略迭代求解。
模型无关的强化学习（model free），通过和环境交互的经验，直接学得每个状态或者状态-动作的价值函数，或者直接学得一个策略函数，整个过程并没有把环境求解出来。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂经济利益；如果有版权纠纷，请私信留言。其中如果发现文中有不正确的认知或遗漏的地方请评论告知，谢谢！ 还是那句话：不是我喜欢copy，是站在巨人的肩膀上~~