贝尔曼方程(Bellman Equation)的解读

这个算法只适用于没有变化的环境

在解释下面几个专业术语前

我先来说一下这个Agent，中文的意思是 代理，代理人
但是实际上他大概表示的意思就相当于变量，就给你某一个状态贴上了一个标签一样

**状态(State) ：**用一个数值来作为代理(Agent)，描述在环境中某一特定时间点的状态
**行为(Action)* *：代理(Agent)向环境提供的输入，通过对当前状态经行策略计算，然后采取行动
**奖励(Reward) ：**来自环境的反馈信号，反映了代理(Agent)有没有有效地执行游戏目标

上面这个公式就是Bellman方程的基本形态。从公式上看，当前状态的价值和下一步的价值以及当前的反馈Reward有关。

它表明Value Function是可以通过迭代来进行计算的!!!

图一 模型训练流程图

图二 Agent模块布局图