强化学习笔记（二）

Q-learning: 基于价值，单步更新，离线学习（采样策略不是真实的目标策略）
Sarsa: 基于价值，单步更新，在线学习（走一步学一步，采样策略与目标策略相同）
Policy Gradients: 基于概率，回合更新（基础版）

DQN

DQN: Deep Q-learning Network, 获取Q(s,a)值的方法从Q-table表格式存储检索换成神经网络计算生成。输入是state，输出是该state下每个action的Q(s, a)。

经验回放 Experience Replay：在replay buffer中存储(s, a, r, s’)，训练时随机选择minibatch进行梯度下降更新参数。这样打破了数据之间的相关性，避免因为参数theta被调整之后相近的状态s被波及。减少了不同批次训练数据差距过大的问题，也克服了神经网络的健忘。(Sarsa也用不了这个，因为需要存储(s,a,r,s’,a’)而a’必须是当前policy产生的）
固定目标网络 Target Network：预测值和标签都是同一个网络产生的，那么当利用二者之差作为Loss更新网络权重时，标签也会变化，这导致网络不容易收敛。->引入target network Q_theta’，和产生预测值的网络结构一致，但theta’更新不频繁，隔一段时间才复制一次theta，以保证target的稳定性。