以下是强化学习-时间差分学习算法(SARSA(0)算法)与神经网络模型相结合的迭代流程图
流程的关键点是:
1、流程中动作值函数的逼近方法使用的是神经网络模型(图中含NET的步骤,具体根据需要设计)。
2、模型中使用的动作值的真值是用神经网络模型(使用NET步骤)进行估算后乘于折扣率加上当前奖励得到的。
3、每一次迭代中,用来训练模型的状态值S、动作值A都是上一步迭代所得(on-line策略,评估与改进采用的是统一策略)。
4、训练NET的本质是:通过梯度下降等方法调整系统参数W (更新网络W步骤),使得网络模型逼近真实动作值函数。
5、图中的更新策略是广义理解,本质是神经网络经训练后模型发生变更,此时的策略间接发生了更新(可参考epsilon贪婪算法的实现进行理解)。
6、迭代的结束标志此处未给出,一般是系统提示结束(到达了目标、或者边界),或者是达到了指定的迭代次数主动退出,取决于具体实现。