增强学习心得（1）Q-Learning 和 Sarsa

增强学习是一种机器学习的方法，尤其是一种聪明的自适应的自学习算法。

增强学习的基本原理是通过状态（state）和动作（action）的互动，进而实现状态可以随时间进行更新，随学习而更新，进而实现目标价值的最优化。

而在增强学习的算法中，尤其以 Q-Learning 和 SARSA 算法尤为突出和典型。

两种算法都是以 Q-Table 为核心，通过逐步的寻找最佳的行动路径，实现通过最快的行动完成价值的最大化。

两种算法有很多相同点，但是又有不同。

直接说不同点：

Q-Learning 通过 Epslon 和 Q-table进行选择行动，然后选择下一步的最大收益来更新现有的Q-table 值。

而 SARSA 则不同

SARSA 同样通过 Epslon 和 Q-table进行选择行动，然后确定行动之后的状态，以及下个状态的情况下，再次利用 Epslon 和 Q-Table 选择行动，如果选择的行动的Q-Table值比较差，则直接会影响当前状态下对应行动的Q-Table值。

所以 Q-Learning 相对于 SARSA 会更乐观，而 SARSA 则更悲观，一旦选择了效益不佳的行动，则直接会让上一个状态的Q-Table值变差，惩罚更严重。