深度强化学习二 || 价值学习 DQN 相关概念
用神经网络 Q(s,a;w) 来近似Q*(s,a) 函数,因为Q*函数并不存在
Q(s,a;w) : 参数为w,输入为s,输出为对所有动作a的评分,每个动作对应一个分数
TD算法训练DQN
假设从NYC->Atlanta 模型预先估计 1000mins,我在路上到达 DC 时,车坏了,历时了300mins,此时模型估计从DC->Atlanta需要600mins,也就是说新的估计从NYC->Atlanta需要900mins,我就把900mins当做实际值,它要比纯的1000mins靠谱,因为900mins里面有300mins是实际观测到的,于是可以做更新。其中TD error = 1000-900 = 100
TD error为0 就意味着估计值与实际值一致
用TD算法 意味着,不需要打完游戏,也可以更新参数
最后得到下述公式
等式左边是在t时刻对游戏所有收益的期望,右边是 当前已经得到rt的回报,并对下一个时刻对游戏所有收益的期望乘以折扣
注Q(st,at;w) 其中at是已经做出的动作,它的评分最高
整体过程如下