强化学习方法汇总【学习笔记1】

强化学习方法汇总【学习笔记1】

学习方法汇总

（1）不理解环境（Model-Free RL）

从环境中得到反馈以学习，只能等待现实世界的反馈之后才能做出相应的动作。

• Q learning
• Sarsa（×）
• Policy Gradients
• ……

（2）理解环境（Model-Based RL）

与Model-Free相比多了“为事物建模”这道工序，并且能够想象现实世界可能出现的结果。

（3）基于概率（Policy-Based RL）

根据环境直接搜索出接下来动作的概率，然后根据概率采取行动。

（4）基于价值（Value-Based RL）

根据环境直接搜索出接下来动作的价值，然后采取最高价值来采取动作。

（5）回合更新（Monte-Carlo update）

等到结束过后再从过程中的转折点进行分析学习。

• 基础版Policy Gradients
• Monte-Carlo Learning
• ……

（6）单步更新（Temporal-Difference update）

完成一步就立即学习，边进行边学习，效率高。

• Q learning
• Sarsa（×）
• 升级版Policy Gradients
• ……

（7）在线学习（On-Policy）

必须是自己加入其中去学习。

• Sarsa（×）
• Sarsa（λ）
• ……

（8）离线学习（Off-Policy）

可以通过自身学习，也可以通过观察别人或者过往的一些经历学习。

• Q learning
• Deep Q Network
• ……