目录
问题3:Q-learning函数近似的过程中面临的问题是什么?
考题2:Experience replay in deep Q-learning
考题3:对于给定的 Q 函数,是否存在唯一的 A advantage function 和 V?
考题4:我们应该选择哪一个来获得最接近MC首次访问估计的V估计?
知识点回顾
分析:这题的正确选项是1,因为2错在权重w不依赖于状态,即w(s)这样的表示是错的。3错在收敛不能保证是最好的,结果可能仍然比最好的MSE解决方案差一倍。
问题1:什么是线性函数近似方法?线性函数近似的思想是什么?
用线性模型来拟合价值函数。步骤就是
- 先定义好特征函数,
- 给定状态s的时候,根据x(s)提取出特征,
- 然后线性叠加这些特征,
- 进而估计这个V值。
- 根据loss function来求解w这个权重。
线性函数近似的难点在于需要人为的设计好的特征 ,这个比较困难。
问题2:什么是DQN?DQN的挑战是什么?
深度Q学习将深度学习和强化学习相结合,核心就是用一个人工神经网络来代替动作价值函数,神经网络具有强大的表达能力,能够自动寻找特征,所以采用神经网络有潜力比传统人工特征强大很多。
挑战:效率问题,很多参数需要优化。死亡三角问题,也就是难以保证得到最优解。