RL算法介绍及比较

主要介绍的算法有：Q Learning、Sarsa、Sarsa(lamda)、TD、Policy Gradient、AC、A3C、DQN、DoubleDQN、DuelingDQN、DDPG、MCTS、UCT

（1）Q Learning：建立Q值表，根据当前state预测Q值，用查表的方式选择action。是value-based方法。

（2）Sarsa：与QL不同的是先根据当前state选action，再更新Q值表。是value-based方法。

（3）Sarsa(lamda)：lamda==0，单步更新；lamda==1，回合更新；lamda属于[0,1]，根据action距离目标的距离设置不同的权重来更新。

（4）TD：时间差分方法，方差小。是value-based方法。

（5）Policy Gradient：action可以是连续的，可能学习速度会很慢，根据当前state预测action。是policy-based方法。

（6）AC：是策略（policy-based）和值（value-based）方法的结合，根据reward值学习更新策略。