深度学习琐碎问答

神经网络的训练数据为什么要是独立同分布的

• 参考https://www.zhihu.com/question/278182581/answer/398312916
• 因为前后state的相似度很大，如果就这样扔进去给神经网络训练的话，效果不会好。可以这样来理解，前后state差不多（比如小蜜蜂那个游戏），而对应的label却不一样，这样就会使得神经网络产生困惑，下次再面对一个类似的输入时候，它就不知道该输出哪个label了。还有一个就是，由于你的初始化label都是0(也就是Q值)，不同时候相同的state获得的Q值不一样（这个不一样是因为bellman方程一直在更新它），这样就会使得这个label一直在变。本来神经网络的每个数据都对应着一个固定的label的，这样倒好，label不断在变，这也会困惑神经网络的。基于上面两点，我们一般使用replay memory机制来随机采样，来尽量得到iid的数据分布。这样训练出来的效果才不会特别差，当然了，这个buffer要取得足够大才能消除样本间的相关性。

为何只有off-policy算法才能使用experience-replay

• 一定程度上解决了我的疑惑，即为什么AC算法用的是实时的roll-out技术，而DQN系列用的就是memory-store的技术，参考https://www.zhihu.com/question/278182581/answer/398312916
• 由于on policy需要准确知道在下一个state,agent的确切action,所以on policy方法到目前并不能使用过去别人玩过的数据。而off policy（比如Dqn它下一个Q（s_,a）直接就可以用别人的）就没有这个问题。