机器学习——PPO补充

最新推荐文章于 2024-10-29 14:57:08 发布
最新推荐文章于 2024-10-29 14:57:08 发布
阅读量414 收藏 9
点赞数 9
分类专栏： 机器学习 文章标签： 机器学习 人工智能 强化学习 PPO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/136598048
版权

On-policy vs Off-policy

在这里插入图片描述

  • 今天跟环境互动，并学习是on-policy

  • 只是在旁边看，就是Off-policy
    在这里插入图片描述

  • 从p中选q个重要的，需要加一个weight p(x)/q(x)

  • p和q不能相差太多
    在这里插入图片描述
    在这里插入图片描述

  • 采样数太少导致分布差很多，导致weight发生变化

On-Policy -> Off-Policy

在这里插入图片描述
在这里插入图片描述

得到新的loss函数

PPO

在这里插入图片描述

  • 衡量 θ \theta θ和 θ ′ \theta' θ′之间的kl散度，衡量二者行为上的相似性，而不是参数上的相似性

在这里插入图片描述

  • Adaptive KL Penalty

在这里插入图片描述

  • 绿色的线是第一项，蓝色是第二项

在这里插入图片描述

uncle_ll
关注
专栏目录
AI人工智能深度学习算法：使用强化学习优化深度学习模型
AI天才研究院
09-29 1376
随着深度学习的迅速发展，深度学习模型在图像识别、语音识别、自然语言处理等领域的应用取得了显著的成果。然而，传统的深度学习模型往往依赖于大量的标注数据进行训练，且模型的性能很大程度上依赖于超参数的设置。数据标注成本高：深度学习模型需要大量标注数据，而数据标注是一个费时费力且成本高昂的过程。超参数优化困难：深度学习模型的性能很大程度上取决于超参数的设置，而超参数的优化往往需要大量的实验和尝试。模型可解释性差：深度学习模型通常被视为黑盒，其内部工作机制难以解释和理解。
​李宏毅机器学习——强化学习Reinforcement Learning
iwill323的博客
10-31 2961
​李宏毅机器学习-- ​强化学习
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 19万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
流媒体学习之路(机器学习应用)——了解我们的网络模型与CC算法
qw225967的博客
09-21 570
它提供的高度灵活性、适应性和计算能力扩展了在包括网络运营和管理在内的多个领域中使用的传统方法。在本文中，我们探索了基于RL的CC算法的性能，并提出了当前基于RL的CC算法存在的问题。例如：当某些包从一个高延迟的路由转向一个低延迟的路由时，假设其他路由的延迟不变就会产生乱序的情况（但大概率在p2p的模式下发生比较明显）。这类情况也是随机而又聚簇的形式，假设这类路由出现明显的乱序也会出现和无线丢包类似的情况（这个在现代的流媒体传输中尤为重要，因为流媒体传输要保证绝对的时序性）。
强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO
结构之法 算法之道
02-10 5万+
强化学习里面的概念、公式，相比ML/DL特别多，初学者刚学RL时，很容易被接连不断的概念、公式给绕晕，而且经常忘记概念与公式符号表达的一一对应(包括我自己在1.10日之前对好多满是概念/公式的RL书完全看不下去，如今都看得懂了，故如果读文本之前，你正在被RL各种公式困扰，相信看完这篇RL极简入门后就完全不一样了)。
独家解读！阿里重磅发布机器学习平台PAI 3.0
勇往直前的专栏
03-25 5382
策划编辑｜Natalie 编辑｜Debra AI 前线导读：3 月 21 日，2019 阿里云峰会在北京召开，会上阿里巴巴重磅发布了机器学习平台 PAI 3.0 版本。距离 PAI 2.0 发布已经过去了 2 年，阿里巴巴对 PAI 新版本做了相当长时间的打磨。PAI 3.0 推出了全新的算法模型市场，涵盖电商、社交、广告、金融等多个行业，数十种场景的算法模型；新增流式算法组件、图神经网...
深度学习实战——强化学习与王者荣耀（腾讯开悟）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
06-10 5680
本篇博客主要介绍强化学习与腾讯AI Lab在MOBA（王者荣耀）中提出的强化学习系统框架。
炼丹感悟——超详细解读
gzq0723的博客
09-24 924
计算机视觉研究院专栏作者：Edison_G感谢大家一直支持“计算机视觉研究院”微信公众号，平时有没做好的地方望大家见谅，做的不好的希望您指出来，我们会修正不对之处，将做得更好，将最好的分...
OpenAI-O1之下，我们技术该何去何从
最新发布
AIBigModel的博客
10-29 683
说白了，我这篇文章没啥意义，纯粹的在传播焦虑，以及“劝学”。我知道国内的 llm 从业者可能只有不到十分之一的人研究方向是强化，但其他人就眼睁睁看着他们做最前沿的方向吗？遮羞布 dpo 已经被撕了啊！公司不给时间学，那就下班学，周末学，节假日学。现在的 llm 算法从业者就是在逆水行舟，没有喘息的余地了。我和饭搭子知乎@真中合欢 经常在吃饭遛弯时瞎聊：你最近悄悄学的 ppo 啥时候分享啊？上周末你训生成式 reward_model 了吗？你觉着那谁说的 o1 路线可信不？
Part 2: Kinds of RL Algorithms
zhuidushi4406的博客
03-16 944
这是一篇关于OpenAI的强化学习课程（RL）的翻译和笔记 个人学习使用。原文链接简单记录一些笔记 并且用斜体字补充了来自chatgpt的注解（正确性注意甄别）目录第二部分：RL算法的种类RL算法的一个分类链接到分类中的算法现在我们已经学习了RL术语和符号的基本知识，我们可以涵盖一些更丰富的材料：现代RL中算法的前景，以及算法设计中各种权衡的描述。我们将在本节开始时免责声明：在现代RL空间中，很难绘制出准确、包罗万象的算法分类法，因为算法的模块性并不能很好地用树结构来表示。
大语言模型原理与工程实践：强化学习的目标
AI天才研究院
09-23 800
大语言模型原理与工程实践：强化学习的目标 关键词： 强化学习、大语言模型、自然语言处理、机器学习、深度学习、智能体、环境、状态、动作、奖励、策略、价值函数、Q-learning、深度Q网络、深度确定性策略梯度、Transformer、预训练、微调、模型驱动、数据驱动、端到端学习、自我监
ChatGPT 核心技术大起底——InstructGPT：研究人类反馈数据比加大模型规模更重要！...
BAAIBeijing的博客
03-02 3905
导读作为ChatGPT的姊妹模型，InstructGPT的核心技术和ChatGPT有很多相通之处。参透InstructGPT的核心技术细节，有助于研究者们在ChatGPT方向上走得更远。具体来看，一味地让语言模型变大并不意味着它们能更好地遵循用户的意图。大语言模型可能会产生虚假有害的，或是对用户毫无帮助的输出。这些模型并不能匹配用户意图。去年9月，OpenAI的研究科学家Long Ouyang和S...
强化学习入门（一）强化学习的基础概念及Gym库，Parl库介绍
AItrust的博客
06-17 3444
文章目录一、强化学习初印象二、什么是强化学习三、GYM库（环境库）四、PARL库（算法库） 一、强化学习初印象 让机器像人一样学习： 对已知环境进行规划 对未知环境进行探索/试错 案例： Multi-Agent Hide and Seek，OpenAI 的 AI 多角色捉迷藏游戏 地址：http://openai.com/blog/emergent-tool-use 参考资料： 《Reinforcement Learning: An Introduction》 伯克利 2018 Deep RL 课程：h
详解sigmoid与softmax， 多分类及多标签分类
uncle_ll的博客
09-19 6万+
详解sigmoid与softmax， 多分类及多标签分类激活函数介绍sigmoid激活函数sigmoid激活函数的性质sigmoid激活函数的使用 激活函数介绍 对于熟悉机器学习或神经网络的读者来说，sigmoid与softmax两个激活函数并不陌生，但这两个激活函数在逻辑回归中应用，也是面试和笔试会问到的一些内容，掌握好这两个激活函数及其衍生的能力是很基础且重要的，下面为大家介绍下这两类激活函数...
PCA降维算法总结以及matlab实现PCA
uncle_ll的博客
03-09 2万+
http://blog.csdn.net/watkinsong/article/details/8234766 http://blog.csdn.net/mingtian715/article/details/54172281 PCA的一些基本资料 最近因为最人脸表情识别，提取的gabor特征太多了，所以需要用PCA进行对提取的特征进行降维。
二分类确定画出roc曲线，以及基于roc曲线获得最佳划分阈值
uncle_ll的博客
05-25 9587
问题 在做二分类问题时候，有正样本和负样本。构建的算法，针对每个样本会输出一个分数值。假设该分数大小为[0, 1]区间内的值。有时候单纯地以分数0.5位阈值划分样本为预测为1或者预测为0，效果有时候并不好，此时如何确定很好的阈值分数呢？答案是可以利用roc曲线来确定比较好的划分阈值。 ROC曲线介绍 二分类过程，设定阈值，大于该分数为1，小于该分数为0，统计计算TP， FN， FP，TN等数据计算FPR，TPR p(positive): 标签1 n(negative): 标签0 t(true): 预测正
关于数据集划分比例问题
uncle_ll的博客
10-12 8241
问题 图像数据集是训练模型与测试模型必备的，一般而言收集到的数据是整个数据，会将整个数据划分成三个数据集，训练集，验证集以及测试集。 验证和测试的数据要确保特征分布和训练集接近，类别比例也是接近的，这样得到的准确率或者loss才真实。 在做ocr识别模型训练的时候，样本比较大，这时候有点疑惑该如何划分数据集，且数据集中较大比例是自动生成的数据。 方法 一般而言，对于样本量是非常多的数据时候，可以按照7:3～9:1划分数据集。 但是对于几百万或千万级数据量而言，测试集样本不需要太多，只需要划分一定数量的数据
最近邻搜索|Nearest neighbor search
uncle_ll的博客
01-13 6667
维基百科：https://en.wikipedia.org/wiki/Nearest_neighbor_search 觉得整理的挺好，翻译 最近邻搜索( NNS ) 作为**邻近搜索（proximity search）**的一种形式，是在给定集合中找到与给定点最接近（或最相似）的点的优化问题（optimization problem）。相似度通常用不相似函数表示：对象越不相似，函数值越大。 形式上，最近邻（NN）搜索问题定义如下：给定空间M中的一组点S和查询点q ∈ M，找到S 中与q的最近点。唐纳德·.
Swish和H-Swish激活函数：提升模型训练效率
uncle_ll的博客
04-29 2956
本文介绍了Swish和H-Swish激活函数，其性能优势包括缓解梯度消失问题和非单调性。H-Swish是Swish的变体，通过分段线性函数替换Sigmoid函数，提高了计算效率。Swish和H-Swish在神经网络中广泛应用，提高了模型的训练效率和性能。
机器学习实战：波士顿房价预测——岭回归分析
"本资料主要介绍3.1章节中的机器学习项目案例，特别是如何利用岭回归分析波士顿房价数据。案例中首先通过`load_boston`函数加载数据，然后分别使用线性回归和岭回归模型进行训练和预测，并探讨了岭回归中正则化参数`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值