强化学习7日打卡营-SASAR/Q-learning/DQN

课程链接： https://aistudio.baidu.com/aistudio/education/group/info/1335

强化学习

智能体Agent从环境Environment中学习，根据状态State，执行动作Action,并根据环境反馈受益reward，指导更好的动作。强化学习是一种延时性奖励
监督学习——>认知：是什么
强化学习——>策略：怎么做

On-policy vs Off-policy

On-policy：兼顾探索
Off-policy：更大胆

算法库及框架库

基于表格型方法求解RL

SARSA

TD单步更新，时序差分
四元组SARP：
(State,Action,Reward,Probability)
P函数：状态转移概率，反映环境的随机性
R函数：reward
Q表格：状态动作价值->指导每一个Step的动作选择，以未来的总收益为目标导向，更据实际情况进行操作
action为列，state为行
可对未来收益引入衰减因子，控制未来受益对当前价值的影响。

Q-learning

Model-free 试错探索

探索与利用

基于神经网络方法求解RL

RL->Deep RL ：数量逐渐增加到不可数
值函数（多项式函数，神经网络）近似的优点：1）仅需存储有限参数 2）状态反华，相似状态可能输出相同。（自动去泛化一些相似的特征，输出相同的值）

Q-learning
通过环境去查找Q表格获取一个R值进行输出，然后通过输出修改Q表格，同时进行探索不断完善Q表格。使得Q表格更加完善。

使用神经网络拟合Q表格
把原来的Q表格使用前面的神经网络进行替代，直接提取输入的环境特征，来得到结果。

DQN-使用神经网络求解RL问题的经典算法

与监督式学习类似输入的每一个值s1得到一个相对应的Q值（这里的q对应的是向量），在这里需要让Q值逼近我们的目标值，同样用两个值的均方差Loss来给优化函数从而更新网络参数

DQN算法两大创新点
一、 经验回放

• 1.切断序列决策的样本关联
• 2.提高样本利用率

二、 固定Q目标

• 1.解决算法非平稳性
  一：经验回放的优势
  将与环境交换数据存入经验池，在其中取若干个S，A，R，S，A组成一个Batch来训练

二：固定Q
在监督式学习中目标值是稳定的，预测值只要不断的靠近真实值y即可。但是在DQN中Q的目标值是，这个值是不断变化的，是有波动的可变值。
复制一个和原网络一样的Target_Q，每隔一段时间更新同步一次，这样，在这段时间内，Q是固定值。
DQN算法流程图