【强化学习】强化学习：时间差分学习算法、SARSAmax算法、Q学习算法与神经网络模型结合迭代流程

以下是强化学习-时间差分学习算法、SARSAmax算法、Q学习算法与神经网络模型相结合的迭代流程图(深度Q学习）

流程的关键点是：

1、流程中动作值函数的逼近方法使用的是神经网络模型（图中含NET的步骤，具体根据需要设计）。

2、流程中需要先利用网络完成所有动作空间的动作值估算，然后根据max策略选取一个动作值作为动作估计值，再结合折扣系数、直接奖励估算真值。

3、每一次迭代中，都会使用两个策略，一个用来选择动作（epsilon贪婪策略），一个用来估算动作真值（max策略），由于两个策略不同，称为off-line策略。这也是SARSAmax算法或Q-learning算法的由来。

4、训练NET的本质是：通过梯度下降等方法调整系统参数W (更新网络W步骤），使得网络模型逼近真实动作值函数。

5、图中的策略pi虽未改变，但是受网络调整的影响，再次使用时与上次使用的条件会发生差异，因此会间接发生改变。

6、迭代的结束标志此处未给出，一般是系统提示结束（到达了目标、或者边界），或者是达到了指定的迭代次数主动退出，取决于具体实现。