主要介绍的算法有:Q Learning、Sarsa、Sarsa(lamda)、TD、Policy Gradient、AC、A3C、DQN、DoubleDQN、DuelingDQN、DDPG、MCTS、UCT
(1)Q Learning:建立Q值表,根据当前state预测Q值,用查表的方式选择action。是value-based方法。
(2)Sarsa:与QL不同的是先根据当前state选action,再更新Q值表。是value-based方法。
(3)Sarsa(lamda):lamda==0,单步更新;lamda==1,回合更新;lamda属于[0,1],根据action距离目标的距离设置不同的权重来更新。
(4)TD:时间差分方法,方差小。是value-based方法。
(5)Policy Gradient:action可以是连续的,可能学习速度会很慢,根据当前state预测action。是policy-based方法。
(6)AC:是策略(policy-based)和值(value-based)方法的结合,根据reward值学习更新策略。
(7)A3C:有效利用计算资源提升计算效率,并行计算后合并。每个小部分都