深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）

1. Q-learning问题描述

Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值（可以理解为价值value），通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻$t$，我们有状态$s_t$，此时代理做出动作$a_t$，然后得到奖励$r_t$，从而进入到一个更新的状态$s_{t+1}$，从而Q值得到更新，其更新公式为：

$$Q\left(s_t,a_t\right)\leftarrow \left(1-\alpha \right)\cdot \underset{\text{old}\text{value}}{\underbrace{Q\left(s_t,a_t\right)}}+\underset{\text{learnig}\text{rate}}{\underbrace{\alpha }}\cdot \stackrel{\text{learned}\text{value}}{\overbrace{\left(\underset{\text{reward}}{\underbrace{r_t}}+\underset{\text{discount}\text{factor}}{\underbrace{\gamma }}\cdot \underset{\text{estimate}\text{of}\text{optimal}\text{future}\text{value}}{\underbrace{\underset{a}{\max }Q\left(s_{t+1},a\right)}}\right)}}\text{\hspace{1em}(1)}$$

从上述公式可以看出，Q值的更新相当于利用学习率对过去的Q值和当前的Q值进行加权求和。
（注： 关于学习率设定，有的资料会考虑历史学习的结果，即学习率小于1；也有的资料并未考虑历史学习的结果，相当于学习率设置为1）

注： 上式中，可能有同学会对右边括号中的$r_t$写法有困惑（有的资料里面用$r_{}$