基于价值的强化学习

基于价值的强化学习，说白了，就是智能体采取了一个动作，这个动作的好坏用一个评价标准来评价它—Q动作值函数。
在后续的动作中，可以通过Q的计算了解到采取什么动作最好，从而达到指导智能体行动的目的。
强化学习中使用 折扣回报来定义采取动作后得到的回报。

1. 折扣回报

定义：$U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+{\gamma }^3{R}_{t+3}+\dots$

该回报表示在t时刻得到的即时奖励和 t+1, t+2 …后得到的折扣奖励。

该折扣回报就是用来评价采取一个行动是好坏的标准，回报越高，说明采取的行动越好。

特性：$U_t$回报是不确定的，因为它取决于状态和动作

1. $P[A=a|S=s]=\pi (a|s)$策略函数
2. $P[S^{\prime }=s^{\prime }|S=s,A=a]=p(s^{\prime }|s,a)$ 状态转移概率

上述的策略和状态转移都是概率性的，所以折扣回报也是概率性的

2. action-value function 动作-值函数 $Q(s,a)$

可以反映在状态s下做动作a的好坏，其实也就是$U_t$的期望：

• 动作值函数
  $Q_{\pi }(s_t,a_t)=E(U_t|S_t=s_t,A_t=a_t)$

在状态s下，采取动作a的期望回报

• 最优动作值函数$Q^{\ast }$
  $Q^{\ast }(s_t,a_t)={\max }_{\pi }{Q}_{\pi }(s_t,a_t)$

状态s下，最优动作a时的期望回报

3. DQN (Deep Q-Network)

其实就是用一个神经网络近似Q函数

• 求解$Q$