强化学习算法大纲 （给自己列的大纲）

进行了强化学习的基础知识（贝尔曼方程，马尔可夫决策过程与价值函数等）后，我们开始强化学习算法的讲解，列出大纲方便参考：

在贝尔曼期望方程的定义中我们就可以就看出，状态转移等环境信息对于强化学习问题来说是很重要的，在强化学习算法中，是否基于已知环境这一前提将算法分为两大类：基于环境模型的（model_based）和不基于模型（model_free）两类。

在之前讲过，我们可以利用一个完备的Q表，在表格中查找获得策略，这时候强化学习的最终目的就是获得一个准确的Q表等等，这种查表类学习方式我们将它称为“基于价值的强化学习”（value-based）。还有一类强化学习算法，他直接对我们的策略函数进行操作，直接获得最优策略，这类强化学习称为“基于策略的强化学习”（policy-based）。还有一种结合；两种算法的“演员-评论家算法”（actor-critic）。

目前我的计划是：

• Model-based强化学习方法：
  • 动态规划法（DP）
• Model-Free强化学习模型：
  • 基于价值方法：
    • SARSA &Q-Learning
    •  Deep Q Network
    • DQN的进阶算法（Target-Nerwork等等）
  • 基于策略的方法：
    • policy-gd
    • TRPO & PPO
  • 演员评论家算法：
    • 经典actor-critic
    • A2C & A3C
    • DDPG
    • NAF

在学习过程中可能会不断更新和改变，作为自己的参考，发表后会更新对应的链接，欢迎关注。