增强学习Reinforcement Learning经典算法梳理1：policy and value iteration

前言

就目前来看，深度增强学习（Deep Reinforcement Learning)中的很多方法都是基于以前的增强学习算法，将其中的value function价值函数或者Policy function策略函数用深度神经网络替代而实现。因此，本文尝试总结增强学习中的经典算法。

本文主要参考：

1 Reinforcement Learning: An Introduction
2 Reinforcement Learning Course by David Silver

1 预备知识

对增强学习有所理解，知道MDP，Bellman方程

详细可见：Deep Reinforcement Learning 基础知识（DQN方面）

很多算法都是基于求解Bellman方程而形成：

• Value Iteration
• Policy Iteration
• Q-Learning
• SARSA

2 Policy Iteration 策略迭代

Policy Iteration的目的是通过迭代计算value function 价值函数的方式来使policy收敛到最优。

Policy Iterat