![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
强化学习
zixufang
这个作者很懒,什么都没留下…
展开
-
强化学习(1)-Qlearning和policygradient
Qlearning: Initialize Q arbitrarily //随机初始化Q值 Repeat (for each episode): //每一次游戏,从小鸟出生到死亡是一个episode Initialize S //小鸟刚开始飞,S为初始位置的状态 Repeat (for each step of episode): 根据当前Q和位置S,使用一种策略,...原创 2019-01-16 10:57:05 · 838 阅读 · 0 评论 -
强化学习(2)-算法总论
DRL的基本模型: DRL算法大框架: 大脑的执行机构-actor: 输入状态s,输出动作a(policy gradient算法) 大脑的评判机构-critrc:根据回馈r(外界给的)进行调整。(Q learning) 人类也是在本能和价值观影响作用下进行行为,并且价值受经验的影响不断改变。 在actor-critic的框架下:有DQN、A3C、UNREAL等算法提出。 DQN- 第一个提出...原创 2019-03-05 14:47:34 · 307 阅读 · 0 评论 -
深入浅出强化学习笔记(1)
第一讲笔记 深度学习如图像识别和语音识别解决的是感知的问题,强化学习解决的是决策的问题 强化学习基本框架-马尔科夫决策过程(MDP) 马尔科夫性:系统的下一状态只与当前状态有关 马尔科夫过程:马尔科夫过程是一个二元组\left(S,P\right),且满足:S是有限状态集合, P是状态转移概率。状态转移概率矩阵为: 马尔科夫决策过程:马尔科夫过程中不存在动作和奖励。将动作(策略)和回报考虑在内...原创 2019-03-16 15:40:37 · 1679 阅读 · 0 评论 -
深入浅出强化学习(2)
时间差分方法结合了蒙特卡罗的采样方法(即做试验)和动态规划方法的bootstrapping(利用后继状态的值函数估计当前值函数)。 蒙特卡罗要等到实验结束才能有Gt,太慢。 其中Rt+1+γV(St+1)R_{t+1}+\gamma V\left(S_{t+1}\right)Rt+1+γV(St+1)称为TD目标,与(4.2)中的GtG_tGt相对应,两者不同之处是TD目标利用了boo...原创 2019-03-16 16:44:04 · 634 阅读 · 0 评论 -
深入浅出强化学习(3)
策略搜索: 之前降到的其他方法都是通过最优值函数从而得到最优策略。利用这种方法得到的策略往往是状态空间向有限集动作空间的映射。(每个状态都有一个值函数,执行策略到下一个状态的值函数最大,直接argmax_a(值函数)) 策略搜索是将策略进行参数化即πθ(s)\pi_{\theta}\left(s\right)πθ(s),利用线性或非线性(如神经网络)对策略进行表示,寻找最优的参数θ\theta...原创 2019-03-16 17:03:27 · 765 阅读 · 0 评论 -
深入浅出强化学习(4)-IRL
what: 逆向强化学习的提出者Ng是这么想的:专家在完成某项任务时,其决策往往是最优的或接近最优的,那么可以这样假设,当所有的策略所产生的累积回报期望都不比专家策略所产生的累积回报期望大时,强化学习所对应的回报函数就是根据示例学到的回报函数。 定义为从专家示例中学到回报函数。 分类: 基于最大边际的逆向强化学习 基于最大熵的方法 具体讲解: 1) 在行为克隆中,人的示例轨迹被记录下来,下次执行...原创 2019-03-16 20:22:10 · 1780 阅读 · 0 评论