1.3 Q-Learning算法的策略
使用均匀概率选择行为使用方便但到训练的次数增加,均概率体现不出智能的性质。我们人类在做选择时,会先考虑经常使用的行为。之前发生的行为概率越高,选择的可能性越大。如果再某一个状态下,之前做过选择,应尽可能的选择奖励最高的行为,同时还要保持好奇心,对没有使用的行为要保持探索性。探索使可能性变多,有可能发现更好的策略,同时也给系统带来不确定性,我们无法预测将来会发生什么,就行无人机可能碰到障碍物。探索性太小也不好,对于刚开始训练,应该积极去发现未知的状态,不然训练很慢。可以随着不断地学习来降低探索性并且保持一个下限,保持一定的探索性。可还以设置一个探索的上限,保证在系统的承受范围内。
ε-贪婪策略就是一定概率使用贪婪策略,一定概率使用均概率。ε的值越大就更多的使用贪婪策略,使用当前最好的行为。ε值越小就更多的使用均概率,是探索的可能性更大,可以学习到更多的状态。ε-贪婪策略的步骤:
ε的变化可以和已学经验容量与经验容量之比有关系,。均概率选择行为,所有的行为概率相等。在一个陌生的环境下,要做的行为更可能是熟悉的行为,行为概率分布符合高斯分布。设置一个一维数组与行为集合对应,存储行为在实验中出现的概率。再进行探索时可以使用概率较大的行为。为加快学习速度,在每一个状态的行为集合上设置标记,在探索实验室优先从未使用的行为中选取,直至所有行为都学习过。贪婪策略在某一状态是最优的,当整体不一定是最优的如图2.7、图2.8所示:
图2.7 Q表迭代n次后移动示意图
图2.8 Q表迭代n+1次后移动示意图
Q-Learning算法仅需要下一个状态来更新当前状态的Q表,第n步状态的影响至少需要n次迭代才能在当前状态Q表中有所体现。若当前状态更新,之前状态都更新的算法是多步Q-Learning。