UCBerkeley 深度强化学习-强化学习简介Lec4

课程内容

• 简介
• 强化学习算法
• 几种强化学习方法的比较

简介

Part ♡1

• MDPS
  
• POMDPS（部分可观测）
  

Part ♡2

其中θ是策π略的参数，强化学习为了使得在当前状态st和当前选择的行为at的情况下的条件概率最大，则需要使得策略π最大，那么需要找到使得π最大的θ。

• 有限时间情况下
  
• 无限时间情况下
  
  
  所以，在无限和有限的情况下的参数优化方式：
  

Part ♡3 强化学习关系期望！

奖励函数r(x)是非平滑的，在策略π下的奖励函数的期望是平滑的！这就是可以进行梯度下降优化的原因！

Part ♡4奖励函数的期望

• Q-function
  
• Value function
  
• 两种提高策略的思想
  

强化学习算法

目标函数:

♧Policy Gradient

直接对上面的目标函数进行微分。

♧Value-Based

在策略π没有明确给出的情况下，估计最优策略的Q或者value function，间接得到优化的policy。

♧Actor-Critic

估计当前策略的Q或者value function，对Q或者value function做梯度下降。

♧Model-Based

从几个方面比较不同的算法

☆效率

• 样本效率：训练多少样本可以得到一个好的策略。
• off policy：用已有的样本进行训练。
• on policy：一边训练，一边更新样本。
  相比较而言，on policy训练过程中，采用的样本数量较大。样本效率会低。
  
• 执行时间（clock time）
  不是样本效率越高执行时间会越少！

☆假设

☆稳定性和易用性

• 收敛性
  是否可以收敛？收敛的形式。
  
  

资源参考

课程官网：http://rail.eecs.berkeley.edu/deeprlcourse/
观看全部中英双语课程：https://ai.yanxishe.com/page/groupDetail/30?from=bilibili
伯克利大学 CS 294-112 《深度强化学习》为官方开源最新版本，由伯克利大学该门课程授课讲师 Sergey Levine 授权 AI 研习社翻译。添加字幕君微信：leiphonefansub 拉你入学习小组。更多经典课程在 ai.yanxishe.com
感谢字幕组的翻译！