![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Reinforcement-Learning
文章平均质量分 88
Reinforcement-Learning
lotylotylotyloty
有问题随时留言!博主很忙~,可能回复很慢,请大家见谅!看到了会回复的
展开
-
Extreme Q-Learning(EQL)极值Q学习(ICLR 2023 top5%)(一)原理概述
为了跟进RL的最新进展和研究,并寻求高质量文章。本节笔者来介绍 ICLR2023 中得分在top前5%的文章《EXTREME Q-LEARNING: MAXENT RL WITHOUT ENTROPY》原理介绍,并进行了笔记归纳总结。方便各位读者进行学习。原文各位读者可以从Openreview中找到。同CQL一样,笔者将会从理论与应用两个角度来描述EQL算法,对于想直接应用的读者可以直接跳过理论部分直接查看如何应用。本文的作者最后也给出了EQL和CQL两篇文章之间的联系,希望给各位读者予以启发。1.预原创 2023-04-02 21:03:37 · 1235 阅读 · 7 评论 -
Conservative Q-Learning(CQL)保守Q学习(三)-CQL在DDPG下的代码实现和实际应用效果
一些,但是笔者在此问题"BipedalWalker-v3"中并未发现它的明显优势,只能说在Reward的结果上,两者差距并不是很大,并且还存在着偶然性。可能是由于10W的数据集采用Batch=256来采样效果可能稍差一些并且存在一定的偶然性。4.用户可以直接运行OFFLineT_CQL.py与OFFLineT_QL.py两个文件来分别对应的加入了CQL的DDPG和未加入CQL的DDPG算法,得到结果并画图。笔者对CQL进行了实现和原文章代码部分的修改,放在了下面的链接里,欢迎各位对代码提出点评和修正。原创 2023-04-01 14:38:06 · 745 阅读 · 10 评论 -
Conservative Q-Learning(CQL)保守Q学习(二)-CQL2(下界V值估计),CQL(R)与CQL(H)
本文内容为《Conservative Q-Learning(CQL)保守Q学习(一)-CQL1(下界Q值估计)》的续写,限于篇幅,笔者无法将他们写在一起,必须分开来写,请各位读者见谅,本文将介绍CQL2的算法及其变种算法,并给出理论证明。原创 2023-03-26 18:38:57 · 1204 阅读 · 13 评论 -
Conservative Q-Learning(CQL)保守Q学习(一)-CQL1(下界Q值估计)
本文介绍非常有用的C-Q Learning算法,有助于解决Q值低估的问题,本文讲介绍2020年NIPS上的文章 是一篇兼具理论和实际应用的好文章。由于CQL原文内容符号比较混乱,并且在公式推导和符号定义上存在一些小错误。笔者进行了仔细阅读和分析,在此做出一些自己语言的总结理解和重述,给予和笔者一样的读者和研究者进行参考和帮助,希望可以和大家一起讨论和学习。、原创 2023-03-25 17:10:30 · 1319 阅读 · 13 评论 -
Proximal Policy Optimization(近端策略优化)(PPO)原理详解
PPO主要是针对Important-Sampling产生的不稳定性进行了CLIP操作和罚函数法,相比TRPO方法更简单容易实现,有了策略梯度的定义,可以结合其他Actor-Critic进行联合使用更新,并且PPO将策略梯度缺陷的on-policy变为了off-policy,更大可能的利用了采样样本,效率和速度都有了一定的提升。原创 2023-03-19 22:02:42 · 4822 阅读 · 5 评论 -
多模态RL智能笔记(1): Generalist-Agent(Gato)大模型
受最近ChatGPT影响, RL的热潮不断兴起和发展,笔者也颇感兴趣,笔者认为它和DeepMind所开发的Gato的思想结合若能去长避短,那么未来人工智能的发展可能会更进一步。本篇主要针对自己最近的学习内容进行笔记总结,来介绍一下各界关注和跟进的另一个大模型:DeepMind所开发的Generalist-Agent(Gato)多模态智能体,原文链接如下原创 2023-02-17 18:13:54 · 1451 阅读 · 2 评论