强化学习之Q-learning

Q-learning算法

Q-learning算法其实就是在Agent与环境的交互过程中建立了一张状态-动作的Q值表，整个训练过程即不断优化这张表的过程。Q-learning算法的优势在于他不顾依赖环境模型。

Q-learning算法描述

在一个有限的马尔科夫过程中有一个智能体Agent；一个状态集S；一个动作集A。Agent在初始状态s下通过动作选择策略选择并执行一个动作a，a$\in$A,在Agent与环境交互完成后$s\to s^{\prime }$，同时会得到一个即时奖励r，之后再更新相应的Q值。更新Q值的方法如下：
$$\begin{array}{r}Q(s,a)=r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })\end{array}$$
$$\begin{array}{r}Q(s,a)=(1-\alpha )Q(s,a)+\alpha [r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })]\end{array}$$
这里为什么要$maxQ(s^{\prime },a^{\prime })$呢，是因为我们也要去评价下一步这个状态好不好就要看在下一步这个状态里我能获得的最大收益是多少，所以需要用Q表里下一状态里所有动作里Q值最大的那个来估计。此公式完全可以写成上一节讲到的TD算法，即：
$$\begin{array}{r}Q(s,a)=Q(s,a)+\alpha [r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })-Q(s,a)]\end{array}$$
其中$\alpha$是学习率，$\gamma \in [0.1]$是折扣因子.$\alpha$影响未来学到的新值置换原值的比例。当$\alpha$=0时，表示Agent学不到新知识；当$\alpha$=1时，表示不存储学到的知识，全部用新的知识置换。折扣因子$\gamma$代表的是Agent的远见，它的大小影响未来的动作的预测回报所占的权重，$\gamma$=0表示Agent只看重眼前动作的回报；$\gamma$=1时，Agent将会把未来所有动作的回报值跟眼前的回报看的同等重要；即因为有$\gamma$的存在使得越往后的动作对当前的动作的影响越小。

Q-learning算法流程

初始化Q表（也就是一个行为所有动作，列为所有状态的表格。），设置好学习率$\alpha$、折扣因子$\gamma$；
重复执行每一个情节；
给定初始状态s；
  重复执行每一个情节中的每一步;
  根据动作选择策略$ϵ$-greedy选择一个动作$a_t$执行并获得奖赏$r_t$，使得Agent状态由$s_t\to s_{t+1}$；
  根据Q值更新公式(2)更新Q($s_t,a_t$)；
  判断$s_t$是否处于终止状态，若是，结束当前情节；否则$s_t\leftarrow s_{t+1}$(这里的意思是赋值,不是状态跳转)
  判断是否达到提前设置好的最大训练次数，若是，结束当前情节；否则继续训练；