基于Q-Table的强化学习笔记

1 几个概念

最近也从小白入手看了些强化学习(Reinforcement Learning，RL)的相关知识，做了一些简单的笔记巩固一下。

1.1 状态空间$S$和动作空间$A$

给定强化学习的状态空间$S$，空间的元素$s\in S$为每一个状态；给定动作空间$A$，空间中的元素$a\in A$为可执行的动作。

1.2 奖励$R$

某状态$s$下执行动作$a$获得的回报称为奖励，表示为$R$，当前$t$时间下的累计期望奖励表示为：

$$U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+{\gamma }^3{R}_{t+3}+......$$

1.3 价值函数与Q-Table

价值函数是在策略$\pi (s,a)$下的期望，即

$$Q_{\pi }(s,a)=E[U_t|S=s,A=a]$$

所有策略下的价值函数就构成了一张Q-Table，强化学习的主要作用就是通过学习得到一张经验Q-Table，使得得到期望结果的最有动作策略。

1.4 马尔可夫性

指在一个随机过程中，如果当前状态和历史状态序列已知，未来状态的概率分布完全取决于当前状态，那么该随机过程被认为满足马尔科夫性质。这也就是说，满足马尔科夫性质的随机过程中，状态转移仅与当前所处状态有关，与历史状态序列相独立。

根据强化学习算法对马尔科夫性质的要求，在不同的学习回合中，同一个状态下的动作空间$A$应该相同。根据上文对于状态空间 $S$ 的定义，在$t+1$时刻的状态是在$t$时刻选择激活的种子节点。基于此状态空间的定义，对于两个不同的种子节点激活序列，如果它们最近激活的种子节点是同一个，那么它们具有相同的状态$s$，但同时在相同状态$s$下将具有不同的动作空间$A$，这与马尔科夫性质相违背。

2 基于Q-Table的强化学习算法

2.1 SARSA算法

2.2 Q-learning算法