强化学习中有模型和无模型的理解与应用

MBRL和MFRL中的模型(M)指什么？

在 MBRL（Model-Based Reinforcement Learning） 和 MFRL（Model-Free Reinforcement Learning） 中，"模型 (Model)"是数字仿真（world model）的概念，可以理解为是真实环境的状态转移函数，即 (s,a)→s_next,当前步的状态动作对到下一次步的映射。

MBRL和MFRL的梳理

强化学习（RL）中的两大类方法是基于模型的强化学习（MBRL）和无模型强化学习（MFRL）。MBRL侧重于学习环境的模型，并利用环境模型进行决策；MFRL直接从交互数据中学习，无需构建环境模型。它们的分类逻辑如下：

(a) 基于模型的强化学习 (MBRL)

1) Offline RL

(i) MBPO: 基于模型的策略优化。

(ii) MOREC: 利用环境模型进行离线学习。

(iii) ...

2) Online RL

(i) Policy Based: 通过直接优化策略进行学习。

a) PG: 策略梯度方法。

b) REINFORCE: 一种经典的策略梯度算法。

c) ...

(ii) Value Based: 通过学习价值函数进行决策。

a) Q Learning: 经典的值函数学习方法。

b) DQN: 深度Q网络，通过神经网络近似Q值。

c) DQN变体: DQN的不同改进版本。

d) ...

(b) 无模型强化学习 (MFRL)

1) Online RL

(i) Value Based & Policy Based: 同时学习价值函数和策略。

a) AC: Actor-Critic方法。

b) SAC: 软行为者-评论家方法。

c) A2C/A3C: 异步优势行为者-评论家。

d) DDPG: 深度确定性策略梯度。

e) TD3: 双延迟深度确定性策略梯度。

f) TRPO: 信赖域策略优化。

g) PPO: 近端策略优化。

h) ...

2) Offline RL

(i) CQL: 保守Q学习。

(ii) MOPO: 模型引导的策略优化。

(iii) BCQ: 批量约束Q学习。

(iv) ...

MBRL和MFRL的应用场景

基于模型的强化学习（MBRL） 和 无模型强化学习（MFRL） 在不同的应用场景下有各自的优势和适用性。

MBRL 通常适用于只有历史数据的场景。在这种情况下，MBRL 可以通过学习环境模型，基于此再进行决策模型训练，即使在数据有限的情况下也能够有效利用已有的数据。然而，MBRL 在面对有仿真的环境时不是好的选择，因为训练一个数字仿真模型可能会引入分布偏移和多步累计误差，这会影响最终的决策模型的准确性和策略的效果。因此，如果环境已经可以进行有效的仿真，直接利用MBRL的方式训练会更为合适。

MFRL 则在应用中更加灵活。它可以适用于有仿真的情况以及仅有历史数据的情况。在仿真环境中，MFRL 可以直接从仿真交互中学习策略，无需额外构建和训练一个环境模型。即使在仅有历史数据的情况下，MFRL 也能通过直接从数据中直接学习决策模型。

总之， MFRL 提供了在各种数据条件下的灵活性，特别是在仿真环境中，直接利用仿真数据进行策略学习通常更加高效和可靠。MBRL 更适合于利用有限历史数据进行学习，并随着目前深度学习的发展，这个world model会学习的更加准确。