RL强化学习总结（一）——强化学习基本概念

已于 2022-08-06 17:33:47 修改
阅读量596 收藏 2
点赞数 1
分类专栏： 强化学习 文章标签： 人工智能 深度学习 机器学习
于 2022-08-03 23:19:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Elon15/article/details/126150090
版权

最近总结一下强化学习的知识点，听的是唐宇迪博士的课程，下面我将用自己的话语和理解进行表述！！！

1. 强化学习概述

强化学习，英文全称Reinforcement Learning，简称RL。

引言

想必大家都听过阿尔法狗战胜了世界围棋冠军的新闻吧。这里的阿尔法狗使用的就是AI中的强化学习，阿尔法狗通过大量学习世界上的棋谱，将判定下棋时每一步状态的最佳选择（选择当前状态中，奖励值最大的那一步）。

主要机理

强化学习是与环境不断交互，面临选择时，选择之后，如果效果比较好，会进行奖励；效果不好便进行惩罚。让模型在奖励和惩罚中进行学习。之后面临选择时，优先选择奖励值大的选择，从而达到不断学习的目的！

当前的行为不仅会影响即时奖励，而且也会对下一步的奖励和后续的奖励产生影响

2.强化学习基本概念

基本概念

（1）agent：中文翻译过来为智能体，就是我们模型中将要学习和被操作的对象。例如：自动驾驶中的汽车。
（2）state：中文翻译过来为状态，就是当前智能体所处的周围情况和状态。例如：阿尔法狗与李世石下棋时，此时棋盘上黑白棋子所处位置和分布情况；自动驾驶汽车此时在路的哪个位置。
（3）action：中文翻译过来为行为，就是在当前状态下，智能体将要采取的下一步是什么。例如：阿尔法狗将要在棋盘的哪个位置进行落子；自动驾驶的汽车下一个时刻将要采取怎么样的驾驶行为（直走，左拐，右拐…）
（4）reward：中文翻译过来为奖励，奖励包括正向奖励也简称奖励，还包括负奖励也叫做惩罚。就是当前智能体采取行为之后，会得到怎样的反馈。例如：自动驾驶的汽车，行驶离目的地越来越近，进行奖励；与周围建筑物、车辆等发生了碰撞，进行惩罚。通过奖励和惩罚，“教”智能体去学习！！！
（5）policy：中文翻译过来为策略，就是为了达到我最终的目的，采取怎样的一系列行为的组合，称作是策略。

强化学习举例

在这里插入图片描述
智能体在采取行动前，会先进行观察。最开始会进行不同的选择，与环境交互之后（进行奖励和惩罚），学着去选择奖励值大的。
观察——>行动——>观察
不断进行循环…
在这里插入图片描述
如上图所示，简而言之就是：智能体不断与环境交互，环境对智能进行奖励和惩罚，从而改变智能体状态。
进行反复循环，推动智能体进行状态变化，让智能体朝着奖励值大的方向移动。
在这里插入图片描述
这个车，采取行动（向左或者向右移动）之后，通过奖励措施，不断修改自身的状态（杆的角度和速度），从而“学着去”保持平衡！

3.要用自己的话语和理解进行表述啊…

时代&信念
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习RL（Reinforcement Learning）
Jiashilin
05-19 1527
思想： 强化学习灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能够获得最大利益的习惯性行为。 AI = RL + DL （from David Silver） 强化学习没有任何的标签来告诉算法应该怎么做，它会先去尝试做一些动作，然后得到一个结果，通过判断这个结果是对还是错来对之前的动作进行反馈（对了会获得奖赏，得分，通过...
强化学习RL
星梦的博客
12-10 313
强化学习（Reinforcement Learning RL）也有很多其他名字，例如再励学习、增强学习、评价学习，是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过程中，通过学习策略以达成回报最大化或实现特定目标的问题。 强化学习过程主要由4部分构成：智能体（agent）、观测到的状态（observation/state）、奖励（reward）和行为（action） 深度强化学习是强化学习与深度学习结合的结果。顾名思义，就是将传统强化学习中的某一部分用深度学习来完成。 传统强化学习中的行为以
强化学习（RL）
满腹的小不甘
11-12 439
强化学习-Reinforcement learning 参考： 1. 强化学习：基本概念 + 应用场景 + 主流算法 什么是强化学习？ 强化学习并不是某一种特定的算法，而是一类算法的统称。如果用来做对比的话，他跟监督学习，无监督学习 是类似的，是一种统称的学习方式。 强化学习算法的思路非常简单，以游戏为例，如果在游戏中采取某种策略可以取得较高的得分，那么就进一步「强化」这种策略，以期继续取得较好的结果。这种策略与日常生...
强化学习（RL)——Reinforcement learning
雨落i的博客
09-24 8401
强化学习（Reinforcement Learning, RL）**是机器学习中的一个领域**，又称再励学习、评价学习或增强学习。强化学习也是一类机器学习算法, 而强化学习是介于监督学习和非监督学习的另外一种学习方式。 强化学习+深度学习就等同于人工智能！
【RL】强化学习的基本思想
爱吃猫的小鱼干
10-11 1387
在机器学习中，有监督学习和无监督学习的特点是基于已有的数据，去学习数据的分布或蕴含的其他重要信息。强化学习与上述这二者最显著的不同在于，首先它不是基于已有的数据进行学习，而是针对一个环境进行学习；另外，它的目标不是学习数据中蕴含的信息，而是寻找能够在环境中取得更多奖励的方法。通俗地说，监督学习的目标只是“弄清楚环境是什么样的”，而强化学习的目标是“在这个环境中生活得更好”。上述的特点导致了强化学习的思维模式与我们所熟悉的监督学习或非监督学习有非常大的区别。 概括地说，强化学习算法主要涉及到两个组成部分：其一
强化学习简介——介绍强化学习的应用及理论.pptx
06-03
马尔可夫决策过程是强化学习中的一个基本概念框架，用于建模决策制定问题。 - **马尔可夫过程**: - 马尔可夫过程是一种随机过程，其中未来的状态只依赖于当前状态，而与过去的状态无关。 - **马尔可夫决策过程**: ...
强化学习浅入理解
01-20
强化学习的核心概念是通过与环境的互动，学习一个策略（policy），使得代理（agent）能够从环境中获得最大的累积奖励。 在强化学习中，环境扮演着关键角色。每个环境都有特定的状态空间，代理可以执行不同的动作，...
强化学习的Q(λ）学习原理资料
最新发布
03-27
Peng & Williams，1996）是一种重要的强化学习（RL）方法。它结合了 Q-learning（Watkins，1989；Watkins & Dayan，1992）和 TD(λ)（萨顿，1988；Tesauro，1992）。 Q(λ) 被广泛使用——人们普遍认为它优于简单的...
强化学习论文
08-12
1. **强化学习的基本概念**：强化学习包括四个基本元素——智能体（agent）、环境（environment）、动作（action）和奖励（reward）。智能体在环境中执行动作，并根据环境的反馈（奖励）调整其行为策略。 2. **Q-...
rl-routing:基于强化学习的sdn路由
05-29
本文将深入探讨一个特定的SDN路由方案——"rl-routing"，它利用强化学习（Reinforcement Learning, RL）来优化路由决策。 **SDN基础** SDN的核心理念是将网络的控制逻辑从转发硬件中抽象出来，形成一个独立的控制...
强化学习(RL)
机器学习知识点整理
05-10 3631
强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。——wiki强化学习在许多学科都有应用，除了AI外，还包括自动化的控制理论，数学中的运筹学和认知科学。在机器学习中，通常可以分为有监督学习（分类，回归），无监督学习（聚类，降维）和强化学...
一文读懂强化学习：RL全面解析与Pytorch实战
热门推荐
TechLead的专栏
09-03 1万+
在本篇文章中，我们全面而深入地探讨了强化学习（Reinforcement Learning）的基础概念、主流算法和实战步骤。从马尔可夫决策过程（MDP）到高级算法如PPO，文章旨在为读者提供一套全面的理论框架和实用工具。同时，我们还专门探讨了强化学习在多个领域，如游戏、金融、医疗和自动驾驶等的具体应用场景。每个部分都提供了详细的Python和PyTorch代码示例，以助于更好地理解和应用这些概念。
（RL强化学习）强化学习基础知识
KNIGHT_HOY的博客
03-30 3775
文章目录Basic ComponentsActorCritic网络训练Q-learningActor + CriticA2C Advantage Actor-CriticA3C Asynchtonous Advantage Actor-CriticBack propagationInverse RLPolicy GradientPolicyExampleGradient Basic Components 以Video Game为例 Actor：遥杆 Env：游戏界面 Reward Funct
【万字专栏总结】离线强化学习(OfflineRL)总结(原理、数据集、算法、复杂性分析、超参数调优等）...
fengdu78的博客
07-01 2303
本文来源自知乎博客，作者：旺仔搬砖记，排版：OpenDeepRL由于内容过长，本文仅展示部分内容，完整系列博客请文末阅读原文离线强化学习（Offline RL）作为深度强化学习的子领域，其不需要与模拟环境进行交互就可以直接从数据中学习一套策略来完成相关任务，被认为是强化学习落地的重要技术之一。本文详细的阐述了强化学习到离线强化学习的发展过程，并就一些经典的问题进行了解释和...
强化学习（Reinforcement Learning, RL）
kfyong的专栏
03-27 671
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习。描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。 强化学习的常见模型是标准的马尔科夫链，马尔科夫决策过程（Markov Decision Process, MDP），他是在假设下一个状态由上一个确定的状态来决定（条件概率），每一步都是上一步状态...
RL强化学习入门
yanhx1204的专栏
11-23 223
https://blog.csdn.net/qq_32690999/article/details/78594220
对RL（reinforcement learning）--强化学习的认识
weixin_45187794的博客
08-26 424
概念 RL（Reinforcement Learning）–强化学习是指agent(智能体)，通过使未来的道德奖励最大化，来学习在不确定的环境中所要进行的动作。 特点 强化学习不同于其他机器学范式的区别在于以下几点： 1、There is no supervisor,only a reward signal(在ＲＬ中没有监督者，只有一个奖励信号) 2、Feedback is delayed,not instantaneous（反馈被延迟了，智能体并不会立即得到反馈,过一段时间才会知道当时的选择所带来的结果是
强化学习-task01
weixin_43868320的博客
10-20 680
1.定义 强化学习讨论的问题是一个 智能体(agent) 怎么在一个复杂不确定的环境(environment)里面去极大化它能获得的奖励。 在强化学习过程中，agent 跟 environment 一直在交互。Agent 在环境里面获取到状态，agent 会利用这个状态输出一个 action，一个决策。然后这个决策会放到环境之中去，环境会通过这个 agent 采取的决策，输出下一个状态以及当前的这个决策得到的奖励。Agent 的目的就是为了尽可能多地从环境中获取奖励。 2.特征 有 trial-and-
强化学习（RL）基本概念
机器学习
06-09 4579
强化学习 一文了解强化学习
强化学习：首次与每次访问蒙特卡罗评估
"强化学习入门——从原理到实践" 在强化学习中，我们关注的是智能体如何通过与环境的互动来学习最优策略。标题提到的"课"和"浏览手机"的例子，实际上是为了形象地说明强化学习中的状态序列和决策过程。在描述中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值