【学习笔记】bandit 和RL 的对比

bandit 和RL 的对比

sutton 强化学习第二版 第二章  

强化学习和其他机器学习方法最大的不同，在于前者的训练信号是用来评估给定动作的好坏的，而不是通过正确动作范例来进行直接的指导。这使得主动地反复试验以试探出好的动作变的很有必要。

单纯的“评估性反馈”只能表明当前采取的动作的好坏程度，但是却无法确定当前采取的动作是不是所有可能性中最好的或者最差的。另一方面，单纯的“指导性反馈”表示的是应该选择的正确动作是什么，并且这个正确动作和当前实际采取的动作无关，这是有监督学习的基本方式，其被广泛应用于模式分类、人工神经网络和系统辨识等。

上述两种不同的反馈有着很大的不同：评估性反馈依赖于当前采取的动作，即采取不同的动作会得到不同的反馈；

而指导性反馈则不依赖于当前采取的动作，即采取不同的动作也会得到相同的反馈。当然也有将两者结合起来的情况。