进行了强化学习的基础知识(贝尔曼方程,马尔可夫决策过程与价值函数等)后,我们开始强化学习算法的讲解,列出大纲方便参考:
在贝尔曼期望方程的定义中我们就可以就看出,状态转移等环境信息对于强化学习问题来说是很重要的,在强化学习算法中,是否基于已知环境这一前提将算法分为两大类:基于环境模型的(model_based)和不基于模型(model_free)两类。
在之前讲过,我们可以利用一个完备的Q表,在表格中查找获得策略,这时候强化学习的最终目的就是获得一个准确的Q表等等,这种查表类学习方式我们将它称为“基于价值的强化学习”(value-based)。还有一类强化学习算法,他直接对我们的策略函数进行操作,直接获得最优策略,这类强化学习称为“基于策略的强化学习”(policy-based)。还有一种结合;两种算法的“演员-评论家算法”(actor-critic)。
目前我的计划是:
- Model-based强化学习方法:
- 动态规划法(DP)
- Model-Free强化学习模型:
- 基于价值方法:
- SARSA &Q-Learning
- Deep Q Network
- DQN的进阶算法(Target-Nerwork等等)
- 基于策略的方法:
- policy-gd
- TRPO & PPO
- 演员评论家算法:
- 经典actor-critic
- A2C & A3C
- DDPG
- NAF
- 基于价值方法:
在学习过程中可能会不断更新和改变,作为自己的参考,发表后会更新对应的链接,欢迎关注。