深度强化学习 task03-2

最新推荐文章于 2023-10-08 16:29:05 发布
最新推荐文章于 2023-10-08 16:29:05 发布
阅读量145 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lukem44/article/details/109300601
版权

1. 蒙特卡洛MC和时序差分TD的区别
在这里插入图片描述
蒙特卡洛（回合更新）：一个序列产生之后计算总收益，然后再更新
时序差分（单步更新）：每走一步进行一次更新
强化学习主要采用的是蒙特卡洛的回合更新的方式
2. 具体计算方法

在这里插入图片描述
具体代码为
在这里插入图片描述
计算输出action时用到类似交叉熵损失的方法，但由于真实的action未知，因此在交叉熵前乘一个权重（奖励分数），分数越高的输出这样的action概率越大，代码为
在这里插入图片描述
在这里插入图片描述
3.on policy 和 off policy
on policy:一边互动一边学习
off policy:先看别人下棋自己再学
主要采用off policy
由于预先不知道各action的出现概率分布 p ( x ) p(x) p(x)，只能以另一种概率 q ( x ) q(x) q(x)进行采样，因此对期望做一个转化
在这里插入图片描述

在这里插入图片描述
最后这个 J J J就是新的目标函数
4. PPO/TRPO
θ \theta θ和 θ ′ \theta' θ′的分布要差不多，因此要进行一种操作，使得两者相似，在原基础上减一个值，作为constraint,这就是PPO
在这里插入图片描述
PPO的前身是TRPO，
在这里插入图片描述
实际操作中，PPO更容易。PPO减掉的哪一项表示的是两者行为上的距离（没懂）
具体的操作：
在这里插入图片描述
这里面 β \beta β需要动态调整（蓝色方框里面）
这里面据说算 K L KL KL的时候很复杂，然后对PPO做了改进
在这里插入图片描述
这里面 c l i p clip clip的功能是对第一项作一个截断，小于 1 − ϵ 1-\epsilon 1−ϵ就输出 1 − ϵ 1-\epsilon 1−ϵ，大于 1 + ϵ 1+\epsilon 1+ϵ就输出 1 + ϵ 1+\epsilon 1+ϵ

lukem44
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多Agent 深度强化学习综述
m0_62870606的博客
01-18 5231
多Agent 深度强化学习综述 人工智能技术与咨询 来源：《自动化学报》，作者梁星星等 摘 要近年来,深度强化学习(Deep reinforcement learning,DRL) 在诸多复杂序贯决策问题中取得巨大突破.由于融合了深度学习强大的表征能力和强化学习有效的策略搜索能力,深度强化学习已经成为实现人工智能颇有前景的学习范式.然而,深度强化学习在多Agent 系统的研究与应用中,仍存在诸多困难和挑战,以StarCraft II 为代表的部分观测环境下的多Agent学习仍然很难达到理想效果..
强化学习笔记(5)-回合策略梯度算法
12-05 1904
记录一下在阅读《强化学习：原理与python实现》这本书的学习笔记。 在之前学习到的强度学习方法中，每次更新价值函数只更新某个状态动作对的价值估计。但是有些情况下状态动作对的数量非常大，不可能对所有的状态动作对逐一更新。函数近似方法用参数化的模型来近似整个状态价值函数，并在每次学习时更新整个函数，这样，对于没有被访问过的状态动作对的价值估计也能得到更新。 函数近似方法采用一个参数为w的函数q(s,a:w)来近似动作价值。 ...
强化学习笔记(2)-异策回合更新算法
08-29 607
在前一篇博客中，我总结了强化学习的同策回合更新的方法，并用这种方法来学习21点游戏的最优策略。这里我将总结一下我学习到的异策回合更新的方法。 同策学习和异策学习的区别在于，同策是边决策边学习，学习者同时也是决策者。异策则是根据之前的历史来学习，学习者和决策者可以不同。以围棋AI为例，如果边对弈边学习，这就是同策学习。如果通过阅读人类的历史对弈记录来学习，那么就是异策学习。 在异策学习中，历史记录中用到的策略和我们要学习的策略是不同的，所以称为异策学习。我们将要学习的策略称为目标策略，用来生成历史记录的另
几种常见DRL(深度强化学习)方法总结与对比之前提基本概念
七七的博客
11-02 4035
版权声明：本文为博主原创文章，未经博主允许不得转载。                    https://blog.csdn.net/FrankieHello/article/details/78821488                 从今年的九月份到现在，接触机器学习、深度学习再到现在的深度强化学习已经有三个月的时间了。从java web开发到人工智能的领域转变的过程中，学到了很多很杂的...
强化学习入门
chen的博客
10-08 392
Q-learning告诉智能体在每种情况下，应该选择哪个动作以便获得最多奖励。具体来说，Q-learning使用一个叫做Q值的表格，其中每一行表示一种情况（也叫状态），每一列表示可选的动作。每个单元格中的数字表示采取某个动作后，可以获得的奖励预期值。智能体在每个时刻根据当前情况，查看Q值表格，然后选择具有最高Q值的动作。但为了探索新的可能性，有时候它也会随机尝试其他动作。随着不断的尝试和奖励的反馈，Q-learning会逐渐调整Q值，以便在每种情况下做出最优的动作选择。
对于强化学习的梳理
qq_38169383的博客
05-03 3123
强化学习（增强学习） 概述 知识联系 强化学习是属于机器学习的一种，机器学习主要分监督学习、非监督学习、半监督学习、增强学习。 强化学习的核心逻辑，那就是智能体（Agent）可以在环境（Environment）中根据奖励（Reward）的不同来判断自己在什么状态（State）下采用什么行动（Action），从而最大限度地提高累积奖励。 定义及意义、目的 描述： 强化学习任务通常用马尔可夫决策过程...
人工智能-项目实践-强化学习-基于深度强化学习的部分计算任务卸载延迟优化.zip
12-14
人工智能-项目实践-强化学习-基于深度强化学习的部分计算任务卸载延迟优化 This repository provides the official Tensorflow implementation for the following paper: Intelligent Delay-Aware Partial ...
基于pytorch编写的利用深度强化学习解决任务卸载和边缘计算问题
05-02
改代码对应的文章：Multi-Agent Deep Reinforcement Learning for Task Offloading in Group Distributed Manufacturing Systems（资源里包含PDF文章） ...算法：多智能体深度强化学习 Actor-Critic
深度强化学习 -- Sparse Reword介绍
01-30
大纲 Sparse Reward Reward Shaping Curiosity Intrinsic Curiosity Module Reward from Auxiliary Task Curriculum Learning Reverse Curriculum Generation Hierarchical Reinforcement Learning
深度强化学习 - Imitation Learning
01-30
• An expert demonstrates how to solve the task • Machine can also interact with the environment, but cannot explicitly obtain reward. • It is hard to define reward in some tasks. • Hand-crafted ...
强化学习笔记(1)-同策回合更新算法
08-16 1047
在我上一篇博客文章中对21点的策略进行了研究，采用蒙特卡洛的方式来进行大量的模拟，通过对比不同策略的收益来找到最佳的策略，这里主要是通过概率的思想来进行研究。 这里我打算换一种思路，采用强化学习的方法来进行研究。 环境模拟 首先我们需要先配置一个实验的环境，这里采用了Gym库的环境"Blackjack-v0"来进行模拟。以下代码是建立环境并用随机策略玩一个回合的代码。 import gym import numpy as np env = gym.make("Blackjack-v0") ob
强化学习4：回合更新价值迭代
十八子的博客
11-14 767
文章目录回合更新价值迭代同策策略评估回合更新起始探索柔性策略(ϵ−soft)(\epsilon-soft)(ϵ−soft)异策重要性采样策略评估回合更新求解最优策略 回合更新价值迭代 有模型 动力函数 p(s’,r∣s,a)p(s’,r | s, a)p(s’,r∣s,a) 方案：解Bellman期望方程/最优方程，方程求解 / 线性规划 / 动态规划 算法：因为有模型（动力函数），可以策略迭代（Bellman期望方程），也可以价值迭代（Bellman最优方程） 无模型 幕序列 (S0,A0,
强化学习（Reinforcement Learning）
Zhouxnli 的博客
04-25 3176
什么是强化学习 在监督学习中，对于得到的输出值需要与给出的标准答案比较后，向前反馈更新网络参数。在强化学习中，通过与环境的不断交互，获得环境给出的反馈，不断更新优化自身。环境并不会给出标准答案，只会针对每次输出给出得分，让计算机自己不断探索规律，逐步找到得到高得分的方法。 MDP 实际上强化学习解决的数学模型问题是MDP（Markov Decision Process） 三个基本元素：...
【强化学习】强化学习分类
热门推荐
shura的技术空间
06-21 1万+
https://github.com/tigerneil/deep-reinforcement-learning-family https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/1-1-B-RL-methods/ ——-主要引用morvan老师的教学视频 【强化学习】强...
ZiSeoi 的西瓜书笔记（二）：第二章 模型评估与选择
wzduang的博客
08-17 433
ZiSeoi 的西瓜书笔记（二）：第二章 模型评估与选择、 文章目录ZiSeoi 的西瓜书笔记（二）：第二章 模型评估与选择、
上市公司碳排放数据（1992-2022）.xlsx
最新发布
08-30
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/141308945 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理
个人阶段工作报告总结-
08-30
个人阶段工作报告总结-
SUNIST等离子体电子温度与密度的原子发射光谱诊断
08-30
<项目介绍> - SUNIST等离子体电子温度与密度的原子发射光谱诊断 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
高分项目-记录宝宝喂奶小程序源码（优秀毕业设计源码）.zip
08-30
1. 精选系统小程序代码说明：经导师指导并认可通过的98分毕设项目代码。 2.适用对象：本代码学习资料适用于计算机、电子信息工程、数学等专业正在做毕设的学生，需要项目实战练习的学习者，也适用于课程设计、期末大作业。 3.技术栈：java，项目代码都经过严格调试，代码没有任何bug！ 4. 作者介绍：大厂码农，java领域创作者，阿里云开发社区乘风者计划专家博主，专注于大学生项目实战开发，文章底部有博主联系方式，更多优质系统、项目定制请私信。 5. 最新计算机软件毕业设计选题大全: https://blog.csdn.net/weixin_45630258/article/details/135901374
pytorch 深度强化学习
08-24
Pytorch是一个深度学习框架，可以用于实现深度强化学习方法。在Pytorch中，你可以使用Tensor张量来表示和处理数据。这个框架提供了许多常用的API，帮助你快速实现深度学习模型。然而，请注意，Pytorch的深度强化学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值