Q-Learing
Critic
相比于Policy，Critics的评价方法很不一样：他有一个状态评价函数 V π V^π Vπ，输入是Environment的一个状态State，然后根据Actor也就是 π π π的情况，输出从当前这个状态开始到结束，一共能获得多少期望的Reward，记为 V π ( s ) V^π(s) Vπ(s)。
比如打砖块时， V π V^π Vπ会输出从现在到结束大概能得多少分。
比如下围棋， V π V^π Vπ会输出现在的局势下双方胜率是多少。
那么，如何做这个 V π V^π Vπ呢？一般有两种办法。
第一种，蒙特卡洛法。先观察 π π π玩很多次游戏。然后看到一个state后将结果尽量向某一局游戏结果贴合。
第二种，时序查分算法。我们只需要知道从状态 s a s_a sa到状态 s b s_b sb需要做Action a a a，获得Reward r r r。那我们就可以训练一个Network，让 V π ( s b ) − V π ( s a )
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
