【强化学习】强化学习：时间差分学习算法、SARSA(0)算法与神经网络模型结合迭代流程

以下是强化学习-时间差分学习算法（SARSA(0)算法）与神经网络模型相结合的迭代流程图

流程的关键点是：

1、流程中动作值函数的逼近方法使用的是神经网络模型（图中含NET的步骤，具体根据需要设计）。

2、模型中使用的动作值的真值是用神经网络模型（使用NET步骤）进行估算后乘于折扣率加上当前奖励得到的。

3、每一次迭代中，用来训练模型的状态值S、动作值A都是上一步迭代所得（on-line策略，评估与改进采用的是统一策略）。

4、训练NET的本质是：通过梯度下降等方法调整系统参数W (更新网络W步骤），使得网络模型逼近真实动作值函数。

5、图中的更新策略是广义理解，本质是神经网络经训练后模型发生变更，此时的策略间接发生了更新（可参考epsilon贪婪算法的实现进行理解）。

6、迭代的结束标志此处未给出，一般是系统提示结束（到达了目标、或者边界），或者是达到了指定的迭代次数主动退出，取决于具体实现。