qq_53982314的博客

就是期望的reward。即每个行为的reward和每个行为的概率相乘，然后相加。神经网络输出的是不同的action的概率，最高的就是这一步的action。那如何选择最好的actor呢？使用的方法就是gradient ascent。但是这样不够完善，飞机可能在原地一直开火，如何使得太低的增加？因为行为和游戏具有随机性，则这个R是不确定的。式子的理念就是：在采取的行为是积极的时候，就提升。作为R的期望值，评估了行为向量的好坏。求reward最大值时候的值。