model-base model-free on-policy off-policy

最新推荐文章于 2023-10-04 21:16:38 发布
最新推荐文章于 2023-10-04 21:16:38 发布
阅读量73 收藏
点赞数 1
文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45683677/article/details/116400378
版权

先挖个坑以后读论文慢慢填

mode-free

不需要预测状态转移 只需要预测在当前状态下做 a i a_{i} ai​ 的回报

model-base

需要一个模型去学习状态转移概率函数 T T T，从 S i S_{i} Si​ 做某个动作 a i a_{i} ai​ 能转移到哪个 S i + 1 S_{i+1} Si+1​中去

On-policy

探索环境使用的策略和要更新的策略是一个policy（SARSA）

Off-policy

探索环境使用的策略和要更新的策略不是同一个policy（Q-learning）

eryihahaha
关注
高通开发系列 - linux kernel内核升级msm-3.18升至msm-4.9(1)
fulinux的博客
02-10 1863
高通开发系列 - linux kernel更新msm-3.18升至msm-4.9
强化学习点滴- model-free vs. model-based； on-policy vs. off-policy
选好坑 挖好坑 才会结出好的果子
04-15 457
Model-free: 不需要知道状态之间的转移概率（transition probability），仅仅依赖agent和environment进行实时的交互。 并不一定使用当前策略产生的样本。 Model-free method attempts to learn the optimal policy in ONE step, such as Q-learning, which learns the optimal policy in the environment after certain itera
解释强化学习中model-based和model-free,online和off line，on policy 和 off policy的关系与区别
再来一下！
10-04 1248
解释强化学习中model-based和model-free,online和off line，on policy 和 off policy的关系与区别。
强化学习各概念整理（value/policy-based、on/off-policy、model-based/free、offline）
Gene_I must wait for the sunrise
02-15 1052
前言 如果你对这篇文章可感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。 value-based & policy-based value-based： 通过建模训练 Q(s, a)，测试时基于 s 选取使 Q 值最大的 a 典型算法：Sarsa、Q-learning、DQN policy-based： 通过建模训练 p(s, a)，即基于 s 得到不同 a 的概率，测试时选取概率最大的 a 典型算法：policy-gradient 思想
算法学习（七）——一些基本概念：model base和model free，On-Policy 和 Off-Policy，On-Line 学习和 Off-Line 学习
星之所望的博客
01-17 1255
model base指状态之间的转移关系确定，从而可以将决策问题转化成一个马尔科夫过程，从而用动态规划的方式得到最优解。如下图： model free使用更加广泛，不需要明确的状态和之间的转移概率。 ...
强化学习基础学习系列之model-free/planning/model-base/dyna方法总结
foreverkeen
10-17 4266
model-free/planning/model-base/dyna 各种机制的总结介绍前面说的value-base方法（除了动态规划）也好，policy-base的方法也好，都是假设没有模型而直接与实际环境交互来学习的，我们把没有用到模型的方法叫做model-free方法，但并不是说value-base和poli
RL夏令营第4讲回顾--Model-based
weixin_42988382的博客
09-13 418
Model-based方法Model-based和Model-free方法对比Model-based方法流程Q-planning算法Dyna-Q算法Model-Based方法存在的问题 Model-based和Model-free方法对比 Model-based： 一旦model学好后，就是采用On-Policy的算法； 一旦model学好后，就不需要与真实环境有过多地互动； 会比Model-free方法有更高地采样效率； 模型如果有问题的话，会产生比较大地误差。 Model-free： 拥有最好地表
强化学习课程笔记之policy-based方法
Ton的博客
08-11 5326
policy-based和value-based是RL中model-free的两大分支，关于value-based的课程笔记，点这里。本篇是关于policy-based的课程笔记。 课程笔记参考： 李宏毅笔记(github版)、叶强pdf、Morvan、刘建平博客园 论文阅读 Sutton强化学习书籍 常见的policy-based方法： REFORCEMENT A2C A3C DDPG TD3 Smoothie SAC系列(SQL) PPO系列(TRPO、DPPO) 为什么要学习policy-base
【RLchina第四讲】Model-Based Reinforcement Learning
小小何先生的学习之旅
02-23 2741
文章目录Model-Based Reinforcement learningModel-Free RL V.S. Model-Based RLModel-Based RL：Blackbox and WhiteboxIntroduction to MBRL from DynaShooting methods：RS，PETS，POPLINRandom Shooting(RS)PETS：Probabilistic Ensembles with Trajectory SamplingPOPLINTheoretic
[CS294-112] model-based RL
Hazekiah的博客
12-28 1359
Control and Planning Open-loop Trajectory optimization methods assumptions: a (learned) dynamics model in hand objective: find the optimal action sequence that maximizes the expected return of the tra...
强化学习知识总结
qq_38907879的博客
11-02 605
概览 之前学习了李宏毅老师深度学习中，关于深度强化学习的相关知识，感觉虽然推导公式基本都已经了解了，但是印象却不是十分深刻，因此，在这里写下来用作复习。 本次内容主要关注的是model-free的部分，对于model-base的内容，在这次就不进行深入的探讨了。这个博客会首先从policy-base的方法开始讲起，然后过渡到value-base的方法。最后再讲讲比较著名的A3C是如何将两者结合起来...
如何将u-boot和Linux内核移植到ADSP-SC589上
weixin_44839882的博客
08-21 1249
注意：在一切工作开始之前，一定要保证PC端使用的是Ubuntu x86 32-bit，14.04版本的操作系统，否则可能会出现各种莫名其妙的问题。 1 开发环境设置 1.1 配置Linux主机 sudo apt-get install build-essential minicom tftpd-hpa git-all subversion openssh-server ncurses-dev libtool texinfo intltool 含义是安装一些必要的软件，比如： build-essential
tiny4412移植U-Boot 2020.07
xkwy100's Blog
07-25 3107
基于友善之臂设计的Tiny4412开发板，移植目前最新的U-boot 2020.07版本，实现可以从SD卡启动，从eMMC启动，支持1GB DDR3，支持串口（波特率921600bps）
基于java的贝儿米幼儿教育管理系统答辩PPT.pptx
11-04
基于java的贝儿米幼儿教育管理系统答辩PPT.pptx
课设毕设基于SpringBoot+Vue的养老院管理系统的设计与实现源码可运行.zip
11-04
本压缩包资源说明，你现在往下拉可以看到压缩包内容目录 我是批量上传的基于SpringBoot+Vue的项目，所以描述都一样；有源码有数据库脚本，系统都是测试过可运行的，看文件名即可区分项目~ ｜Java｜SpringBoot｜Vue｜前后端分离｜ 开发语言：Java 框架：SpringBoot，Vue JDK版本：JDK1.8 数据库：MySQL 5.7+（推荐5.7，8.0也可以） 数据库工具：Navicat 开发软件： idea/eclipse（推荐idea） Maven包：Maven3.3.9+ 系统环境：Windows/Mac
基于java的消防物资存储系统答辩PPT.pptx
11-04
基于java的消防物资存储系统答辩PPT.pptx
【java毕业设计】饮食营养管理信息系统源码（springboot+vue+mysql+说明文档）.zip
11-04
项目经过测试均可完美运行！ 环境说明： 开发语言：java jdk：jdk1.8 数据库：mysql 5.7+ 数据库工具：Navicat11+ 管理工具：maven 开发工具：idea/eclipse
【java毕业设计】酷听音乐源码（springboot+vue+mysql+说明文档）.zip
11-04
项目经过测试均可完美运行！ 环境说明： 开发语言：java jdk：jdk1.8 数据库：mysql 5.7+ 数据库工具：Navicat11+ 管理工具：maven 开发工具：idea/eclipse
TA_Lib轮子无需编译-TA_Lib-0.4.19-cp38-cp38-linux_armv7l.whl.zip
最新发布
11-04
TA_lib库（whl轮子），直接pip install安装即可，下载即用，非常方便，各个python版本对应的都有。 使用方法： 1、下载下来解压； 2、确保有python环境，命令行进入终端，cd到whl存放的目录，直接输入pip install TA_lib-xxxx.whl就可以安装，等待安装成功，即可使用！ 优点：无需C++环境编译，下载即用，方便
model-base model-free强化学习
08-28
model-based强化学习和model-free强化学习是两种不同的强化学习方法。 Model-based强化学习是指在学习过程中使用环境模型来进行预测和规划。这种方法中，智能体首先试图建立一个环境模型，该模型能够预测在给定状态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值