强化学习中常用的随机策略

随机策略可以理解为是概率分布，常用的有以下几种：

贪婪策略

$$\pi_*(a|s)=\begin{cases} 1　　if　a=arg_{a \in A} max q_*(s,a)\\ 0　　otherwise\\ \end{cases}$$
贪婪策略是一个确定性策略，即只有在使得动作值函数 $q_*(s,a)$最大的动作处取概率为1，选择其他动作的概率为0

e-greedy策略

$$\pi(a|s) \leftarrow \begin{cases} 1-\epsilon+\frac{\epsilon}{|A(s)|}　　if　a=argmax_a Q(s,a)\\ \frac{\epsilon}{|A(s)|}　　if　a \neq argmax_a Q(s,a)\\ \end{cases}$$
$\epsilon -greedy$策略是强化学习最基本最常用的随机策略，其含义是选取使得动作值函数最大的动作的概率为 $1-\epsilon+\frac{\epsilon}{|A(s)|}$，而其他动作的概率为等概率，都为 $\frac{\epsilon}{|A(s)|}$。 $\epsilon -greedy$策略平衡了利用和探索，其中选取动作值函数最大的部分为利用，其他非最优动作仍有概率为探索部分

高斯策略

一般高斯策略可以写成$\pi_{\theta}=\mu_{\theta}+\epsilon，\epsilon \sim N(0,\sigma^2)$。其中$\mu_{\theta}$为确定性部分，$\epsilon$为零均值的高斯随机噪声。高斯策略也平衡了利用和探索，其中利用由确定性部分完成，探索有$\epsilon$完成。高斯策略在连续系统的强化学习中应用广泛。

玻尔兹曼分布

对于动作空间是离散的或者动作空间并不大的情况，可采用玻尔兹曼分布作为随机策略，即

$$\pi(a|s,\theta)=\frac{exp(Q(s,a,\theta))}{\sum_b exp(h(s,b,\theta))}$$
其中 $Q(s,a,\theta)$为动作值函数，该策略的含义是动作值函数大的动作被选中的概率大，动作值函数小的动作被选中的概率小