机器学习：增强式学习Reinforcement learning

已于 2023-12-26 00:41:50 修改
阅读量572 收藏 10
点赞数 7
分类专栏： 机器学习 文章标签： 机器学习 人工智能 增强学习 action ppo
于 2023-12-18 23:41:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/135072929
版权

在这里插入图片描述

  • 收集有标签数据比较困难的时候
  • 同时也不知道什么答案是比较好的时候
  • 可以考虑使用强化学习
  • 通过互动，机器可以自己知道什么结果是好的，什么结果是坏的

Outline

在这里插入图片描述

什么是RL

在这里插入图片描述

  • Action就是一个function
  • Environment就是告诉这个Action是好的还是坏的

例子 Space invader

在这里插入图片描述

  • 只能左移动，右移动，开火
  • 任务就是杀死外星人
  • 奖励就是分数
  • 终止：杀死所有的外星人，或者自己被外星人杀死
    在这里插入图片描述
  • 找到一个function使得得分总和最大

例子：Play Go

在这里插入图片描述
在这里插入图片描述

  • 下围棋的score只有在游戏结束的时候才有分数，+1， -1， 0
  • 中间时刻是没有得分的

RL和ML关系

在这里插入图片描述

Step1： 未知数的Function

在这里插入图片描述

  • 在RL中，未知数的Function就是Action
  • 输入是网络观察到的
  • 输出是每个动作的反馈
  • 分数就是激励，基于分数去有概率的随机性采取对应的行动，增加多样性

Step2：定义Loss

在这里插入图片描述
在这里插入图片描述

  • 把所有的reward进行累加作为最终分数
  • Loss就是要最大虾该总和分数

Step3：优化器

在这里插入图片描述

  • 给定的随机行为，有随机的反应
  • 如何找到一组参数去使得分数越大越好
  • 类比于GAN，但是Reward和env不能当作是network，是一个黑盒子

Policy Gradient

在这里插入图片描述
如何控制你的action
在这里插入图片描述

  • 希望采用的模型，可以类比一个分类器
  • 希望不采用什么动作的模型，可以使用上面取反
    在这里插入图片描述
  • 使得e1越小越好，使得e2越大越好

收集一些训练数据
在这里插入图片描述
但不一定是只有两种情况，不是二分类问题，可以采用不同的数字表示不同程度的期待
在这里插入图片描述

定义

版本1

随机的Action得到结果，然后进行评价正负
在这里插入图片描述

  • 该版本不是一个好的版本
  • 短视近利的Action，没有长远规划
  • 每个动作都影响后续的动作
  • 奖励延迟，需要牺牲短期利益获得长远利益
    在这里插入图片描述

版本2

在这里插入图片描述

  • 把每个动作之后的分数都加起来作为该动作的分数

版本3

在这里插入图片描述

  • 相邻的动作影响更大一点，越远的距离的动作影响越小

版本4

在这里插入图片描述

  • 需要对分数进行标准化，减掉一个baseline b，使得分数有正有负

Policy Gradient

在这里插入图片描述

  • 收集资料是在epoch循环中
    在这里插入图片描述
    在这里插入图片描述
  • 每次Update之后需要重新收集资料
  • RL训练非常耗时
    同一种行为对于不同的s是好坏是不一样的，是一个连续的。
    在这里插入图片描述
    在这里插入图片描述
  • off-policy可以不用在更新前收集资料了，只需要收集一次
    在这里插入图片描述
    在这里插入图片描述
  • 增加随机性，尝试不同的action

PPO

在这里插入图片描述
在这里插入图片描述

Actor critic

Critic

在这里插入图片描述

MC方法

在这里插入图片描述
完成游戏最终结果才知道

TD方法

在这里插入图片描述
二者做查，越接近越好， r t r_t rt​是知道的，这种方法不用知道最后结果

MC vs TD

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

如果表现比平均好，at大于0，如果小于平均值，则at小于0

在这里插入图片描述

Tip of actor critic

在这里插入图片描述
会共用一些参数

DQN

在这里插入图片描述

Reward Shaping

在这里插入图片描述

大部分reward是0的时候，就是稀疏reward，需要定义一些额外的reward

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
给机器加上好奇心，看到新的东西就加分，有意义的新东西

No Reward

在这里插入图片描述
在这里插入图片描述

凭借专家的示范进行学习
在这里插入图片描述
专家的样本比较少
在这里插入图片描述
机器复制专家的任何行为，即使是不合理的动作
在这里插入图片描述
在这里插入图片描述

让机器自己定reward，从专家的示范反推reward function，然后给予这些reward进行学习
在这里插入图片描述
在这里插入图片描述
与GAN的过程有点类似
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
教机器摆盘子，倒东西，先示范20次
在这里插入图片描述

uncle_ll
关注
  • 7
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
增强学习(Reinforcement Learning)
大树先生的博客
09-02 3029
增强学习(Reinforcement Learning) 1. 增强学习基础 Q-learning DQN Double DQN
2021 增强式学习RL 李宏毅
linyuxi_loretta的博客
11-04 958
最简单的但其实是不正确的版本，作业simple code的版本，通常搜集资料时，通常做多个episode， 比如说助教的simple code里跑了5个episode，才搜集到足够的资料。这不是一个好方法，因为学出来的network是一个短视近力的actor，因为每个行为都会影响互动接下来的发展，每个行为并不是独立的。而且存在Reward delay。“牺牲短期利益”，这个版本机器只会学到疯狂开火 只有这个行为是被鼓励的。
增强式学习
weixin_34161083的博客
06-04 176
非常好的一个导入例子 如图在每一个格子中我们都有四种移动策略（action:U,D,L,R）,但理想总是美好的，现实总是骨干的。有些时候，我们想着的方向并不一定是我们移动的方向，所以我们引入概率。正确移动的概率为0.8，错误移动的概率各为0.1（不允许倒退） MArkov决策过程（MDP）： 特性—无需关注过去的事情 特性二规则不变 状态、奖励、行动、转移（折扣） 摩尔...
李宏毅机器学习笔记第17周_概述增强式学习（Reinforcement Learning）
peaunt1的博客
08-04 677
Reinforcement Learning
增强学习/强化学习 综述
chenhepg的博客
05-12 8582
@创建于：20210512 @修改于：20210512 文章目录1、增强学习概念2.1 增强学习定义2.2 两大特点2、简书：[阿阿阿阿毛](https://www.jianshu.com/u/a18653721b40)3、知乎：[叶强](https://www.zhihu.com/people/qqiang00/posts?page=2)4、CSDN：[夏栀的博客](https://blog.csdn.net/qq_36426650/category_9759833.html)5、博客园：[ 刘建平Pin
增强学习Reinforcement Learning经典算法梳理.doc
10-07
增强学习（Reinforcement Learning，RL）是一种机器学习方法，其目标是让智能体在与环境的交互过程中通过试错学习最优策略，以最大化长期奖励。RL的核心在于马尔可夫决策过程（Markov Decision Process，MDP），它...
Deep-Reinforcement-Learning-master_强化学习_
10-02
强化学习是机器学习领域的一个重要分支，它通过与环境的交互来学习最优策略，从而最大化某种奖励或累积回报。在“Deep-Reinforcement-Learning-master”项目中，我们可以期待了解到如何利用深度学习技术来增强强化...
Reinforcement Learning: An Introduction最新版习题解答（第一版本）
12-28
增强学习是机器学习的一个分支，它涉及到如何使计算机或机器在没有明确指导的情况下通过与环境的交互来学习行为，旨在找到最优化决策问题的解决方案。 在《增强学习：入门与实践》习题解答的第一章（引言）中，提出...
machine-learning-notes:关于机器学习各个主题的研究论文摘要
04-19
增强型POET：通过无限制的学习挑战发明及其解决方案进行的开放式强化学习[ ] 递归神经网络的基于内存的控制[ ] 软演员关键算法及其应用[ ] 软演员临界：与随机演员的策略外最大熵深度强化学习[ ] 2021-03 元...
斯坦福大学机器学习原版讲义
03-23
增强学习（Reinforcement Learning）和控制理论（Control）是机器学习的又一重要分支。增强学习关注于在没有明确指导的情况下，通过与环境交互来学习最优策略。这种方法在游戏AI、机器人技术等领域得到广泛的应用。 ...
李宏毅机器学习课程-概述增强式学习PolicyGradient0214
weixin_49747347的博客
02-14 467
B站李宏毅2021春机器学习课程P74 目录 1、如何定义A-不好的方法 2、选择动作之后所有奖励之和 3、Policy Gradient 1、如何定义A-不好的方法 这种方法只看短期结果，没有长远目光，真实情况每一次动作都会影响接下来的环境。 2、选择动作之后所有奖励之和 太长的结果与最初的相关性会较低。 增加折扣因子： 只要是正的就会鼓励采取，可能是不好的举措，所以需要标准化，减掉一个...
《nature》 机器学习的3个热门分支 “深度学习”、“增强式学习”、“概率学习” 的最新综述
cv_family_z的博客
06-11 3198
《nature》 机器学习的最新的各个分支（branch of machine learning） “深度学习”、“增强式学习”、“概率学习” 的最新的综述。
机器学习--08增强式学习RL
最新发布
m0_47588836的博客
05-03 477
RL其实和machine Learning很像，也是三个步骤。机器学习就是找一个函数，RL也是找一个函数，这个函数里面有两个变量-行为（Actor）和环境（Environment），两者进行互动。机器学习的三个步骤是：1.找出定义函数中的所有未知数；2.定义loss函数来训练数据；3.找到未知数参数从而得到最小的loss。而RL和这三个步骤是一样的。
增强学习的基础与入门
qq_36468520的博客
11-28 259
增强学习入门理解（持续更新）
马尔科夫决策
MUTOUYIHAO的专栏
09-29 1万+
在之前的讨论中，我们总是给定一个样本x，然后给或者不给label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题，很难有这么规则的样本。比如，四足机器人的控制问题，刚开始都不知道应该让其动那条腿，在移动过程中，也不知道怎么让机器人自动找到合适的前进方向。      另外如要设计一个下象棋的AI，每走一步实际上也是一个决策过程，虽然对于简单的棋有A*的启发式方法
机器学习李宏毅学习笔记26
weixin_46722934的博客
06-14 146
概述增强式学习（一）学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
提高机器学习模型性能的五个关键方法
热门推荐
学习机器学习
09-08 3万+
如何提高机器学习模型性能， 可从五个关键方面入手。 1. 数据预处理 2. 特征工程 3. 机器学习算法 4. 模型集成与融合 5. 数据增强 以下是各个方面的具体分析和方法： [ 说明：1、这里主要是各个关键方法的知识汇总梳理，便于集中学习，具体的实际应用内容后续单独写。 2、参考整理了很多大拿的文章和资料，但忘了记录来处，如有不适当转载的，请留言，我看到后第一时间删除。 ] 第...
机器学习-强化学习
weixin_41741485的博客
03-14 1481
强化学习简介 什么是强化学习？ 强化学习是多学科多领域交叉的一个产物，它的本质就是解决“决策”问题，即学会自动进行决策。强化学习是一个“序列决策”问题，它需要连续选择一些行为，从而这些行为完成后得到最大的收益最好的结果。 强化学习的方式 它在没有任何label告诉算法应该怎么做的情况下，通过先尝试做出一些行为得到一个结果，通过先尝试做出一些行为得到一个结果，通过判断这个结果是对还是错来对之前的行为...
系统学习机器学习之增强学习（一）--模型基础
工作笔记
06-15 2738
转自：https://www.cnblogs.com/pinard/p/9385570.html 从今天开始整理强化学习领域的知识，主要参考的资料是Sutton的强化学习书和UCL强化学习的课程。这个系列大概准备写10到20篇，希望写完后自己的强化学习碎片化知识可以得到融会贯通，也希望可以帮到更多的人，毕竟目前系统的讲解强化学习的中文资料不太多。 　　　　第一篇会从强化学习的基本概念讲起，对应...
深度强化学习精要：Grokking Deep Reinforcement Learning
《Grokking Deep Reinforcement Learning》是一本全面介绍深度强化学习的指南，适合对机器学习和人工智能感兴趣的读者，无论他们是初学者还是有一定经验的研究者，都能从中受益匪浅。通过阅读这本书，读者将不仅了解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值