强化学习从基础到进阶-案例与实践[5]：梯度策略、添加基线（baseline）、优势函数、动作分配合适的分数（credit）

已于 2023-06-28 12:55:30 修改
阅读量308 收藏
点赞数
分类专栏： # 强化学习从基础到进阶-案例与实践 文章标签： 人工智能 深度学习 强化学习 蒙特卡洛 机器学习
于 2023-06-25 19:41:11 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/131384681
版权
本文详细介绍了强化学习中的策略梯度算法，包括策略梯度的基本思想、如何添加基线（baseline）以解决奖励总是正的问题，以及如何通过优势函数（advantage function）来合理分配动作的分数。通过实例和技巧讲解，阐述了如何在实践中优化策略梯度算法，例如通过折扣因子来考虑未来奖励的影响。文章适合对强化学习有一定基础的读者深入理解策略梯度及其优化方法。
摘要由CSDN通过智能技术生成

在这里插入图片描述
【强化学习原理+项目专栏】必看系列：单智能体、多智能体算法原理+项目实战、相关技巧（调参、画图等、趣味项目实现、学术应用项目实现

在这里插入图片描述
专栏详细介绍：【强化学习原理+项目专栏】必看系列：单智能体、多智能体算法原理+项目实战、相关技巧（调参、画图等、趣味项目实现、学术应用项目实现

对于深度强化学习这块规划为：

  • 基础单智能算法教学（gym环境为主）
  • 主流多智能算法教学（gym环境为主）
    • 主流算法：DDPG、DQN、TD3、SAC、PPO、RainbowDQN、QLearning、A2C等算法项目实战
      • <
了解本专栏 订阅专栏 解锁全文 超级会员免费看
汀、人工智能
关注
专栏目录
订阅专栏
强化学习算法：策略梯度 (Policy Gradient) 原理与代码实例讲解
AI天才研究院
06-23 829
强化学习算法：策略梯度 (Policy Gradient) 原理与代码实例讲解 1.背景介绍 强化学习（Reinforcement Learning, RL）是机器学习的一个重要分支，旨在通过与环境的交互来学习最优策略。策略梯度（Policy Gra
强化学习从基础到进阶-常见问题和面试必知必答[5]：：梯度策略、添加基线（baseline）、优势函数、动作分配合适的分数（credit）
丨汀、的博客
06-25 201
强化学习从基础到进阶-常见问题和面试必知必答[5]：：梯度策略、添加基线（baseline）、优势函数、动作分配合适的分数（credit）
强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO
结构之法 算法之道
02-10 5万+
强化学习里面的概念、公式，相比ML/DL特别多，初学者刚学RL时，很容易被接连不断的概念、公式给绕晕，而且经常忘记概念与公式符号表达的一一对应(包括我自己在1.10日之前对好多满是概念/公式的RL书完全看不下去，如今都看得懂了，故如果读文本之前，你正在被RL各种公式困扰，相信看完这篇RL极简入门后就完全不一样了)。
实践讲解强化学习之梯度策略、添加基线、优势函数、动作分配合适的分数
华为云官方博客
06-27 677
本文将从实践案例角度为大家解读强化学习中的梯度策略、添加基线（baseline）、优势函数、动作分配合适的分数（credit）。
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 19万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
深度强化学习-带基线的策略梯度算法原理
weixin_46133643的博客
01-23 3217
引言 本文主要介绍策略梯度算法的一种改进——带基线的策略梯度算法(Reinforce with baseline)。通过引入基线，有效降低了学习过程中的方差，从而提升训练过程的稳定性。 1 基线 基线函数可以是任意随机函数或确定函数，它可以与状态有关，但是不能和动作有关。满足这样的条件后，基线函数自然满足 证明： 由于和动作无关，所以 进而 得证。 ...
强化学习笔记：带基线的策略梯度
qq_40206371的博客
05-27 1246
强化学习笔记：policy learning_UQI-LIUWJ的博客-CSDN博客中，我们通过 对策略网络的参数进行更新。 REINFORCE和Actor-Critic分别通过不同的方式近似来实现之 1 baseline 基于8.1得出的REINFORCE和Actor-Critic通常效果并不好。但是做一个小改动之后，就可以大幅提升表现： 把b作为动作价值函数的基线（baseline），用-b代替 这里b可以是任意的不依赖于动作action的函数 这里成立的原因在于，可以证..
强化学习基础算法介绍，DQN，策略梯度算法，Actor-Critic算法
weixin_41106546的博客
04-05 1263
在 Q-learning 算法中，我们以矩阵的方式建立了一张存储每个状态下所有动作值的表格。表格中的每一个动作价值表示在状态s下选择动作a然后继续遵循某一策略预期能够得到的期望回报。然而，这种用表格存储动作价值的做法只在环境的状态和动作都是离散的，并且空间都比较小的情况下适用，我们之前进行代码实战的几个环境都是如此（如悬崖漫步）。当状态或者动作数量非常大的时候，这种做法就不适用了。例如，当状态是一张 RGB 图像时，假设图像大小是210x160x3，此时一共有种状态。
深度学习与计算机视觉教程(18) | 深度强化学习 (梯度策略,Actor-Critic,DDPG,A3C)（CV通关指南·完结）
ShowMeAI研究中心
06-16 2万+
本文讲解了 Policy Gradient，结合policy-based 和 value-based 的 Actor-Critic 方法，以及在 Actor-Critic 基础上的 DDPG、A3C方法【对应 CS231n Lecture 14】
强化学习(七)：策略梯度
03-07 2万+
回顾 在上一节中，我们主要是利用函数近似来将Vπ(s)Vπ(s)V^{\pi}(s)与Qπ(s,a)Qπ(s,a)Q^{\pi}(s,a)参数化： 而我们的策略ππ\pi则是从Q值中产生的。比如我们一直使用的ϵ−greedyϵ−greedy\epsilon - greedy探索方法就是根据最大的Q值来选择动作(action)。没有Q值的话就无法使用这个方法了。也就是这个策略的更新是根据Q值...
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1168
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
DINO&DINO v2：颠覆自监督视觉特征表示学习
家鸽的代码屋
10-15 697
DINO系列学习总结
深度学习速通系列:中文命名实体识别（NER）数据集大全（含链接）
Ven%的博客
10-16 154
训练集8001条、验证集1000条、测试集1001条。：在清华大学开源的文本分类数据集THUCTC基础上进行细粒度命名实体标注，包含地址、书名、公司、游戏、政府、电影、姓名、组织机构、职位、景点等类别。：基于淘宝电商数据制作的NER数据集，包括商品名称、商品型号、人名、地名等类别。：基于新浪财经收集的上市公司高管简历，标注了国籍、教育背景、地名、人名、组织名、专业、民族、职称等8种实体。：由Boson提供，包含时间、地点、人名、组织名、公司名、产品名等类别，共2000个段落。
线性判别器LDA
qq_52421831的博客
10-10 1261
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
AI大模型带来哪些创业机遇？
最新发布
金木编程
10-16 140
低代码开发平台：创业者可以构建基于大模型的低代码或无代码平台，帮助用户快速生成应用程序、自动化工作流程，尤其是为中小企业提供高效的数字化转型方案。数据治理工具：帮助企业管理和优化大数据集，确保数据的质量、安全性和隐私保护，特别是在医疗、金融等对数据合规性要求较高的领域。自动化写作：为市场营销、新闻、广告、社交媒体等行业开发自动内容生成工具，帮助企业快速生成高质量的文案、广告词和新闻稿。AI 艺术生成：通过大模型生成数字艺术作品、视频剪辑、音乐，帮助创作者快速创作，并提供创意工具给个人和企业用户。
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 391
论文创新点，将注意力机制 和卷积 相结合。
【进阶OpenCV】 （6）--指纹识别
m0_74896766的博客
10-06 1763
本篇介绍了，如何将源图像指纹同指纹库中的指纹进行匹配，并得到的对应指纹的信息。
骨架提取（持续更新）
xiongmaowangd的博客
10-13 585
骨架提取是图像处理或计算机视觉中的一种技术，用于从二值化图像中提取物体的中心线或轮廓，通常称为“骨架”或“细化图像”。这一技术主要用于简化形状表示，同时保留物体的拓扑结构。这里我们强调了，是对二值化图像中进行提取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值