DRL（二）—— RL简介

最新推荐文章于 2024-01-10 10:45:51 发布
最新推荐文章于 2024-01-10 10:45:51 发布
阅读量1.9k 收藏
点赞数
分类专栏： DRL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41796745/article/details/105629709
版权
本文介绍了RL（强化学习）的基本结构，包括Model-Based RL，并讨论了模型预测与样本生成的成本问题。文章提到，在确定环境中，deterministic policy效果良好，但在stochastic environment中可能不足。此外，文章提到了policy gradient方法和DQN，并指出当前内容主要是对先前RL知识的复习，涉及Q()和V()的定义以及不同算法的权衡选择。
摘要由CSDN通过智能技术生成

RL Structure

RL中基本包括三个部分，如下图：
在这里插入图片描述

Model-Based RL

在model-based RL里，绿格子里是预判下一个状态St+1。橙色格子依然是产生样本，绿色格子是利用这些样本去产生一个fφ，利用这个函数，可以预测下一个状态。用样本使这个函数越来越拟合。
在这里插入图片描述
这样可以得到一个确定的policy，a deterministic policy，在确定的环境中可以工作的较好，但是在随即环境 stochastic environment 中就不是很合适了。

进一步说明：
在这里插入图片描述

which part is expensive

橙色部分根据情况而定；
绿色部分，如果是做policy gradient，就很简单，花费很少；但是如果是做上面这种拟合一个fφ出来，就很麻烦，这需要建

最低0.47元/天 解锁文章
Mia_compiling
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DRL应用实战（一）——开发德州扑克RL智能体【附代码】
二向箔
05-30 598
背景： 德扑智能体比赛：http://www.jidiai.cn/compete_detail?compete=20，奖金1w。 特点：自己开发的智能体能够在线和别人的智能体对战。 1 pettingzoo德州扑克-无限制版 游戏规则 观测空间：一个54维的向量，每一维取值为0或1，1表示出现，0表示没出现。 索引 含义 取值 0~12 黑桃A~K [0,1] 13~25 黑桃A~K [0,1] 26~38 黑桃A~K [0,1] 39~51 玩家1所有下注 [0,1] .
学习笔记——DL、RL、DRL的相关知识以及联系（二）
weixin_42772540的博客
05-19 1581
强化学习(RL，Reinforcement Learning) 强化学习的基本概念，做学习笔记用，资料链接在文末。 又称再励学习、评价学习、增强学习，是机器学习的范式和方法论之一。用于描述和解决智能体（Agent）在与环境的交互过程中通过学习策略以大成回报最大化或实现特定目标的问题。 几个应用领域：信息论、博弈论、自动控制等。 一、定义 强化学习时智能体以”试错“的方式进行的，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。强化学习中由环境提供的强化信号是对产生动作的好坏作一种
学习笔记——DL、RL、DRL的相关知识以及联系（三）
weixin_42772540的博客
05-19 2736
深度强化学习（DRL，Deep Reinforcement Learning） 深度强化学习基本概念，作学习笔记使用，资料链接在文末 深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。 一、简介 深度学习具有较强的感知能力，但是缺乏一定的决策能力。 强化学习具有决策能力，但是对感知问题束手无策。 深度强化学习将两者结合起来，优势互补，为复杂系统的感知决策问题提供了解决思路，两者相互关系如下图所示。 二、原理框
学习笔记——DL、RL、DRL的相关知识以及联系（一）
weixin_42772540的博客
05-19 3855
深度学习（DL，Deep Learing） 深度学习基本概念，作学习笔记使用，资料链接在文末 学习样本数据的内在规律和表示层次，最终目标时让机器能够像人一样具有分析、学习能力。 几个应用领域：搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语言、推荐和个性化技术。 一、简介 深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法： 基于卷积计算的神经网络系统，即卷积神经网络（CNN） 基于多层神经元的自编码神经网络，包括自编码（Auto encoder）和稀疏
【从RL到DRL】强化学习基础（二）——马尔可夫决策过程与相关贝尔曼方程
Vulcan_Q的博客
10-04 1537
本文为强化学习基础的第二篇内容，主要围绕马尔可夫性质与马尔可夫奖励、决策过程展开，并通过回溯图等形式深入分析了贝尔曼方程与贝尔曼最优方程的组成与意义
【从RL到DRL】深度强化学习基础（一）——基本概念、价值学习（DQN与TD算法）、策略学习与策略梯度
Vulcan_Q的博客
10-14 1316
本篇为深度强化学习基础的第一篇，回顾并介绍了强化学习中的一些基本概念，并初步阐释了神经网络在策略学习与价值学习中的应用。
【从RL到DRL】强化学习基础（一）——强化学习基本介绍、基本的智能体概念
Vulcan_Q的博客
10-01 1315
本文开始入门学习强化学习，主要介绍了强化学习本身的一些特点以及与智能体分类、基本组成相关的一些基本概念
关于DRL
Coding
08-06 893
DRL: deep reinforcement learning DRL = DL (deep learning) + RL (reinforcement learning)大多数情况下，reward既不为正，也不为负，为0，导致RL非常难训练。 Alpha Go是监督学习+增强学习。在一开始，学习按照人的棋谱下棋，然后学到一定程度，再自己跟自己下。
DRL入门
最新发布
ThreeS_tones的博客
01-10 1204
状态和观察(states and observations)动作空间(action spaces)策略(policies)行动轨迹(trajectories)不同的回报公式(formulations of return)强化学习优化问题(the RL optimization problem)值函数(value functions)2. 算法分类分类方法：1、免模型学习和有模型学习（理不理解所处的环境）Model-Based：多了为现实世界建模的过程，多了一个虚拟环境、可通过想象。
深度增强学习（DRL）简单梳理
热门推荐
时光杂货店
08-23 2万+
作者：xg123321123 - 时光杂货店 出处：http://blog.csdn.net/xg123321123/article/details/77504032 声明：版权所有，转载请联系作者并注明出处 0 主要话题 增强学习面临的问题 马尔科夫过程 形式化描述增强学习 Q-learning 深度增强学习 1 一个简单的增强学习情景以打砖块游戏为例，玩家需要左右移动屏
【从RL到DRL】深度强化学习基础（五）离散控制与连续控制——确定策略梯度方法（DPG）、使用随机策略进行连续控制
Vulcan_Q的博客
10-22 920
本文为深度强化学习基础的第五篇，介绍了从离散控制进阶到连续控制，分别介绍了确定策略梯度方法进行连续控制，以及使用随机策略进行连续控制
DRL--算法合集
qq_45889056的博客
05-30 1191
但是也有一些算法可以同时使用策略和价值来做决策，比如演员-评论家算法（Actor-Critic），其中演员（Actor）是一个策略函数，评论家（Critic）是一个价值函数，演员根据评论家的评价来更新策略，评论家根据环境的奖励来更新价值。确定性策略的优点是简单、高效、易于实现；A3C 采用异步梯度更新的方式，不同的 worker 获取独立的经验后（一个 batch），独立的去更新 Global Network，当主网络参数被更新了以后，就用最新的参数去重置所有的 worker，然后在开始下一轮循环。
深度强化学习（DRL）一：入门篇
钟鸣的博客
02-27 1万+
目录前言强化学习（RL）的基本概念主要算法和相关分类QlearningSarsaA3C强化学习到深度强化学习 前言 之前通过对AlphaGo Zero的学习，我对深度强化学习有了一定的了解。但是由于没有经过系统的学习，我对其中的知识还有很多不懂的地方。写这一系列文章主要是整理一下网上的资料，梳理这方面的知识，做一下总结。目前网上关于深度强化学习的应用这方向的资料不算多，再加上深度强化学习本身也是一...
【从RL到DRL】深度强化学习基础（二）——Actor-Critic Methods中策略与价值网络机构以及算法迭代过程、实例分析——AlphaGo的训练过程、蒙特卡洛树初步
Vulcan_Q的博客
10-15 1152
本文是深度强化学习基础的第二篇，从AC算法的角度接入，并介绍了AlphaGo的训练流程以及其中涉及到的相关知识。
深度强化学习库的设计思想带你深入了解DRL：从环境、网络更新、经验池、经验池、算法基类分离度、分布式、多进程等方面评价
丨汀、的博客
07-15 2519
深度强化学习库的设计思想带你深入了解DRL：从环境、网络更新、经验池、经验池、算法基类分离度、分布式、多进程等方面评价
RL: 一个可扩展性很好的环境
weixin_45776027的博客
08-07 443
自定义强化学习环境可以在以下基础上建立，可扩展性很好 定义环境：（打印环境信息，数据类型float32） 获取环境信息，共7个量（str, int, int, int, int, bool, float）- > (env_name, state_dim, action_dim, action_max, max_step, if_discrete, target_return) 每个episode后的环境重置，状态归一化 import os import numpy as np import gym
model-based 强化学习分类
weixin_44125720的博客
03-03 313
转载自：https://zhuanlan.zhihu.com/p/72642285 model-based RL这个方向的工作可以根据environment model的用法分为三类： 作为新的数据源：environment model 和 agent 交互产生数据，作为额外的训练数据源来补充算法的训练。 增加决策的context信息：在进行Q值或者V值预估时，environment model ...
强化学习之五：基于模型的强化学习（Model-based RL）
MapleStory的博客
01-07 1万+
本文是对Arthur Juliani在Medium平台发布的强化学习系列教程的个人中文翻译，该翻译是基于个人分享知识的目的进行的，欢迎交流！（This article is my personal translation for the tutorial written and posted by Arthur Juliani on Medium.com. And my work is compl
超威X9DRL系列用户手册修订版1.1
本资源是一份名为"超威X9DRL"的产品用户手册，修订版本为1.1，适用于X9DRL-3F和X9DRL-iF型号。发布日期为2013年5月9日。该手册由Super Micro Computer, Inc.（简称Supermicro）提供，旨在提供详尽的产品信息和指导。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值