增强学习是一种机器学习的方法,尤其是一种聪明的自适应的自学习算法。
增强学习的基本原理是通过状态(state)和动作(action)的互动,进而实现状态可以随时间进行更新,随学习而更新,进而实现目标价值的最优化。
而在增强学习的算法中,尤其以 Q-Learning 和 SARSA 算法尤为突出和典型。
两种算法都是以 Q-Table 为核心,通过逐步的寻找最佳的行动路径,实现通过最快的行动完成价值的最大化。
两种算法有很多相同点,但是又有不同。
直接说不同点:
Q-Learning 通过 Epslon 和 Q-table进行选择行动,然后选择下一步的最大收益来更新现有的Q-table 值。
而 SARSA 则不同
SARSA 同样通过 Epslon 和 Q-table进行选择行动,然后确定行动之后的状态,以及下个状态的情况下,再次利用 Epslon 和 Q-Table 选择行动,如果选择的行动的Q-Table值比较差,则直接会影响当前状态下对应行动的Q-Table值。
所以 Q-Learning 相对于 SARSA 会更乐观,而 SARSA 则更悲观,一旦选择了效益不佳的行动,则直接会让上一个状态的Q-Table值变差,惩罚更严重。