我的强化学习模型不收敛这件事！

最新推荐文章于 2024-08-06 00:22:03 发布
最新推荐文章于 2024-08-06 00:22:03 发布
阅读量795 收藏
点赞数 2
文章标签： 机器学习 人工智能 python 强化学习 深度学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjYzNjQwOQ==&mid=2247501443&idx=1&sn=f0645a8613cf08221cc69a6143eb9ee9&chksm=fbfd9c15cc8a150368cc14ce2bdf7c9e15d74a373f6f80479249f2904fb78db4f854b67776fa&scene=126&&sessionid=0
版权
博主李rumor分享了他在强化学习领域的经验，提到自己的模型遇到了困难。他开源了一个强化学习库Easy-RL，旨在帮助初学者和研究者简化强化学习模型的实现。文章探讨了模型摆烂的可能原因，包括环境设定、策略更新和探索策略等，并提出了可能的解决策略。
摘要由CSDN通过智能技术生成

 Datawhale学习 

作者：李rumor，方向：强化学习

0cf5fb046946b704e1eee46db7c95403.png

开源地址：

https://github.com/datawhalechina/easy-rl

bcbf9fef1607351297e7425e43019c49.png

799bf5912822b458d650f122169228e8.png

f50ce0e0549b2bb1eaeecad1893014e4.png

0fa5d082b5357bce7488eda4293111b0.png

999a7f6e8911597ade846c1f357e59fc.png

e0f62c06caa79dd51f93be5b280f8eaa.png

cd958ff8a80645015d7c5b1e0c14beed.png

043bba017066b159f5f130e48170d8cd.png

72ddf9f46066e07d341f43892750a876.png

12217af2b31192c686320b59f555eb9e.png

08874e76e49fa02a42ce6b7f82dddb7e.png

562983ae2e305869c5c5be00a4a9453e.png

9646a4369a373be7a6f65c98feaeb10e.png

c7f523adbe24d92d79620cae25a809a5.png

c8d663cae250f81c9002ce688f12a228.png

62df180ee195cd47b38b5f03320b3802.png

f58eaa17fcb31c0be5b24be3ff912456.png

e9dc43781f41eca10b1c054d090463f6.png

9bf5590b41c7951bd363fb22a403839d.png

9dd5f35120103dc29e5132bedb7ea702.png

86b42241e45e4b545cfb657b1168083d.png

我的强化学习模型摆烂了😭

Wang_AI
关注
强化学习中的稳定性与收敛性
AI天才研究院
04-24 1074
强化学习 (Reinforcement Learning, RL) 作为机器学习的一个重要分支，专注于智能体 (Agent) 通过与环境交互学习并优化其行为策略。智能体通过试错的方式，从环境中获得奖励或惩罚信号，并根据这些反馈不断调整策略，以实现长期累积奖励最大化的目标。开发更稳定、更收敛、更高效的 RL 算法。将 RL 应用于更复杂的任务，例如多智能体系统、自然语言处理等。将 RL 与其他技术结合，例如深度学习、迁移学习等。RL 算法通常需要大量的训练数据才能收敛。
如何基于强化学习进行模型压缩？
AI天才研究院
08-04 1192
在日常生活中，计算机模型会被部署到各种各样的场景下用于预测、决策等。为了在保证预测精度的同时降低计算成本，减少资源占用，机器学习模型通常都会经过压缩（Compression）处理。其中，基于强化学习（Reinforcement Learning，RL）的方法被广泛应用于模型压缩。本文将以一个具体的例子——神经网络模型的压缩为例，阐述基于强化学习方法对神经网络模型的压缩，并通过相关代码示例来展示如何使用强化学习方法进行模型压缩。
强化学习模型不收敛的改进方向
april_cui的博客
08-12 2168
RL模型不收敛的原因
如何判断强化学习算法是否收敛
rl小透明
03-31 1万+
如何判断强化学习算法是否收敛 1. 策略熵 对于随机性策略（PPO等）可以用策略熵来表示策略是否“确定”。在训练过程中随着策略提升，策略变得越来越确定，此时熵应该是随着逐渐降低的，熵曲线趋于平缓。 2. loss指标（网络收敛好坏） 这是DL中的直观指标，虽然不能直接用在DRL来说明策略好坏，但loss是在一直下降还是已经趋于平缓了，可以一定程度上说明网络模型的学习程度，看模型是“学会了”还是“学废了”，趋于平缓可能就是已经训练差不多了，当然“训练差不多”不代表“策略最优”，有些可能loss还在掉，但
强化学习笔记：强化学习的约束
qq_40206371的博客
06-05 3901
再举几个例子。AlphaGo Zero 用了 2 千 9 百万局自我博弈，每一局约有 100 个状态和动作。TD3 算法 在 MuJoCo 物理仿真环境中训练 Half-Cheetah、Ant、Hopper 等模拟机器人，虽然只有几个关节需要控制，但是在样本数量 100 万时尚未收敛。甚至 连 Pendulum、Reacher 这种只有一两个关节的最简单的控制问题，TD3 也需要超过 10 万 个样本。 神经网络结构超参数包括层的数量、宽度、激活函数，这些都对结果有很大影响。...
深度学习神经网络不收敛的 11 个原因
源代码杀手的博客
05-17 1134
参考原文： http://theorangeduck.com/page/neural-network-not-working 参考译文： https://mp.weixin.qq.com/s/KUhVVXM560wS2Z0eUd5GlQ
强化学习Reinforcement Learning算法的稳定性与收敛性分析
AI天才研究院
08-01 339
强化学习Reinforcement Learning算法的稳定性与收敛性分析 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍
强化学习模型评估：Reward与Regret
最新发布
AI天才研究院
08-06 1086
强化学习模型评估：Reward与Regret 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 强化学习的兴起 1.2 模型评估的重要性
基于强化学习的小型无人直升机有限时间收敛控制设计
01-12
针对小型无人直升机精确动力学模型难以获取以及姿态控制易受未知外界风扰影响的问题,设计一种基于强化学习(reinforcement learning,RL)与super twisting相结合的非线性控制算法.利用直升机在线飞行数据,训练执行者-...
李宏毅教授强化学习sparse reward课程笔记总结
weixin_42825220的博客
07-27 586
Sparse Reward 在实际生活中，reward通常都非常稀疏，只对某一特定行为有reward，而其余的exploration均为0，因此agent往往难以训练 Reward Shaping(参考莫烦) 区别于真实环境中的reward，设计一些reward来引导agent 引入curiosity 最原始的形式：估计和实际的相差越大则reward越大(Network1...
强化学习（Reinforcement Learning）
bin
02-26 4855
https://www.zhihu.com/topic/20039099/intro 强化学习 强化学习主要由智能体（Agent）、环境（Environment）、状态（State)、动作（Action）、奖励（Reward）组成。 智能体执行某个动作后，环境将会转换到一个新的状态，对于该新的状态环境给出奖励信号，随后，智能体根据新的状态和环境反馈的奖励，按照一定的策略执行新的动作。 (智能体通过...
【强化学习】Q-learning原理及实现
ccql's Blog
12-04 2018
Q-learning算法实际上相当简单，仅仅维护一个Q值表即可，表的维数为（所有状态S，所有动作A），表的内容称为Q值，体现该状态下采取当前动作的未来奖励期望。智能体每次选择动作时都会查询Q值表在当前状态下采取何种动作得到的未来奖励可能最多，当然也会添加一些随机性，使智能体可能选择别的可能当前认为未来奖励并不多的动作，以便跳出局部最优解，尽量得到全局最优解。
如何判断强化学习训练是否在收敛？
努力学习的！
12-04 4153
参考链接： 1、信息熵 – 针对于策略问题 如果信息熵逐渐降低，表明策略越来越确定，趋于平缓 2、loss指标 – 评价网络收敛的好坏 虽然不能直观的说明策略的好坏，但是loss可以看出网络模型的学习程度。 趋于平缓，训练的差不多了，不代表策略最优 3、reward reward大多数是对于状态之间转移的即时奖励，和整个决策规划的好坏不能直接等价。 在训练过程中，DRL策略在一个episode下的平均奖赏没有明显变化时，可以视为DRL训练近似收敛。 dense reward：也可以换成使用平均rewar
深度强化学习几大尚未解决问题
超级帅的一个小伙子的博客
03-29 1176
收敛困难，调参困难。 DRL算法通常需要海量的Agent和环境的交互数据，而这些数据只有在模拟场景下（游戏）才很充足并且廉价，想象一下自动驾驶和机器人领域，如果拿真的汽车和机器人去做Action，万一是负奖赏的Action，那损失也太大点了。 奖赏函数需要定义的很准确，这其实很难。 最重要的是：很多应用，比较成熟的方法效果都不比DRL差，所以公司不愿意去冒这个风险吧。 ...
强化学习目前存在的一些问题
热爱可抵漫长岁月
07-18 2万+
最近的深度强化学习（DRL）被吹的天花乱坠，强化学习本身作为一种非常普遍的范例，让大家觉得一个好的鲁棒的强化学习仿佛什么都可以做，然后又结合了深度学习的一些经验主义，让大家觉得DRL仿佛就是真正能实现通用人工智能的有效抓手（毕竟不用像监督学习那样一开始就收集大量数据，只是想我们小时候一样多尝试多探索然后就能学到东西的这个想法是多么像人类啊），这也是为什么这几年来，深度强化学习拿了超级多funding的原因。 然而现实是，DRL并没有真正地work，虽然比如说DeepMind、OpenAI的一些强化学习的de
深度学习训练时网络不收敛的原因分析总结
热门推荐
comway_Li的博客
08-20 4万+
很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。 首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法： 1. 数据...
深度强化学习入门-05DQN实现高速超车（复现 deeptraffic:MIT 6.S094: Deep Learning for Self-Driving Cars）
drilistbox的博客
05-02 4319
总的来说问题还有许多，希望感兴趣的同学朋友多多交流。 最近对强化学习比较感兴趣，发现强化学习工作较多的地方是无人驾驶决策规划这一块，我自己对这方面也比较感兴趣，就想做一个超车模型，设计交互环境如下，让图中的红车以最快的速度超越其他障碍车。 我的思路是用dqp来解决这类超车问题，将连续的4个截图作为一个状态空间，并用LeNet网络来逼近值函数，但发现效果不好，我以为是LeNet过于简单无法识...
为你分享73篇论文解决深度强化学习的18个关键问题
数据派THU
12-26 4298
来源：PaperWeekly作者：王凌霄本文共2434字，建议阅读5分钟。本文为大家分享了73篇论文，介绍深度学习的方法策略以及关键问题分析。这两天我阅读了两篇篇猛文 A Brief Survey of Deep Reinforcement Learning 和 Deep Reinforcement Learning: An Overview，作者排山倒海的引用了 200 多篇文献，阐述强化学习未
为什么基于模型的强化学习方法渐进收敛性不如无模型的强化学习
04-23
基于模型的强化学习方法相对于无模型的强化学习方法在渐进收敛性上可能存在一些差异。这是因为基于模型的强化学习方法需要通过建立环境模型来进行规划和预测，而无模型的强化学习方法则直接与环境进行交互学习。 一方面，基于模型的强化学习方法在建立环境模型时可能会引入一定的误差。这些误差可能来自于模型的不完全准确性或者对环境动态变化的不准确建模。这些误差会在规划和预测过程中逐渐累积，导致算法的性能受到影响。 另一方面，基于模型的强化学习方法在规划和预测时需要进行额外的计算，包括状态转移和奖励预测。这些计算会增加算法的复杂度和计算开销，可能导致算法收敛速度较慢。 然而，基于模型的强化学习方法也有其优势。通过建立环境模型，可以进行离线规划和预测，减少对真实环境的交互次数，从而降低了采样复杂度。此外，模型可以提供额外的信息，例如状态转移概率和奖励函数，可以在一定程度上辅助决策过程。 综上所述，基于模型的强化学习方法在渐进收敛性上可能不如无模型的强化学习方法，但其在采样复杂度和决策辅助方面具有一定的优势。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值