Deep Q-Network
1.复习Q值函数
SARSA
2.Q-Learning
如果(s,a)状态太多太复杂怎么办?(围棋、Atari游戏,星际争霸)
拟合值函数Q(s,a)
几种值函数逼近(Value Function Approximation)
值函数
Linear Combination of Features
Neural Network
Decision Tree
Nearest Neighbor
以及任何其他的函数都可能用来拟合值函数
Q-Network
Gradient Descent
3.Deep Q-Learning
Experience Replay
Experience Replay优点:训练数据利用率高,随机才养出来的Experience直接相关性小,可降低训练的Variance
DQN玩Atari
Double DQN
Duelling network模型