强化学习中on policy和off policy的区别-深度理解

参考图书：
Deep Reinforcement Learning
Fundamentals, Research and Applications

https://link.springer.com/book/10.1007/978-981-15-4095-0 countryChanged=true&utm_medium=affiliate&utm_source=commission_junction_authors&utm_campaign=CONR_BOOKS_ECOM_GL_PHSS_ALWYS_DEEPLINK&utm_content=deeplink&utm_term=PID100163099&CJEVENT=07cf86ee9a9611ec82b5e5460a180513

(Deep Learning) Yoshua Bengio & Ian GoodFellow

1.前言

On-policy methods attempt to evaluate or improve the policy that is used to make decisions, whereas off-policy methods evaluate or improve a policy different from that used to generate the data.

如果理解不了，可以简单记忆。

在线策略（On-Policy）方法和离线策略（Off-Policy）方法依据策略学习的方式对强化学习算法进行划分。在线策略方法试图评估并提升和环境交互生成数据的策略，而离线策略方法评估和提升的策略与生成数据的策略是不同的。这表明在线策略方法要求智能体与环境交互的策略和要提升的策略必须是相同的。而离线策略方法不需要遵循这个约束，它可以利用其他智能体与环境交互得到的数据来提升自己的策略。常见的在线策略方法是 Sarsa，它根据当前策略选择一个动作并执行，然后使用环境反馈的数据更新当前策略。因此， Sarsa 与环境交互的策略和更新的策略是同一个策略。

先附上三个on-policy和off-policy算法表

想必这个问题应该困扰了很多深度学习新手和老司机。

有一种简单介绍方式

On-policy: The agent learned and the agent interacting with the environment is the same. 行为策略和目标策略一样

Off-policy: The agent learned and the agent interacting with the environment is different.行为策略和目标策略不一样

具体怎么理解呢，将在正文中展开

2.正文

话不多说，继续送上三种DRL中三种经典算法。