【强化学习】强化学习（Reinforcement Learning, RL）详解

已于 2025-02-16 20:25:05 修改
阅读量4.2k 收藏 26
点赞数 33
分类专栏： 其它 文章标签： RL
于 2025-02-16 20:08:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44246618/article/details/145668770
版权

强化学习（Reinforcement Learning, RL）详解

什么是强化学习？

强化学习（Reinforcement Learning, RL） 是一种机器学习方法，其中智能体（Agent）通过与环境（Environment）交互，学习如何采取行动以最大化某种累积奖励。强化学习的核心思想是让智能体在试错（trial-and-error）过程中不断调整策略，最终学会最优策略。
在这里插入图片描述
强化学习特别适用于那些环境动态变化、模型未知、或者无法直接获取最优解的任务，如机器人控制、自动驾驶、游戏 AI、金融交易等。

与其他机器学习方法的对比：

  • 监督学习（Supervised Learning）：有标注数据，目标是最小化预测误差。
  • 无监督学习（Unsupervised Learning）：无标注数据，目标是发现数据的结构。
  • 强化学习（Reinforcement Learning）：通过 试错学习最优策略，目标是最大化长期奖励。

强化学习的基本组成部分

强化学习系统主要由以下 5 个核心部分组成：
在这里插入图片描述

1）环境（Environment）
环境是智能体与之交互的世界，它定义了状态空间、动作空间、奖励规则以及状态转移的动态。环境可以是物理世界（如机器人控制）、虚拟世界（如游戏）或数学模型（如金融市场）。

2）智能体（Agent）
智能体是执行动作的主体，它在环境中观察状态，并根据策略决定要采取的行动。智能体的目标是通过学习找到最优策略，以最大化长期回报。

3）状态（State, s）
状态是环境在某一时刻的描述，它可以是离散的（如网格世界中的位置）或连续的（如机器人关节角度）。智能体通过观察状态来做决策。

4）动作（Action, a）
动作是智能体可以执行的操作集合，例如在迷宫中移动（上、下、左、右）、调整温度、控制游戏角色等。

5）奖励（Reward, r）
奖励是环境提供的反馈信号，它指引智能体的学习方向。奖励可以是：

  • 正奖励（+）：鼓励某些行为，例如游戏胜利或机器人成功抓取物品。
  • 负奖励（−）：惩罚某些行为，例如撞墙、失败或能量消耗过多。

在这里插入图片描述

强化学习的关键概念

1）策略（Policy, π）
策略是智能体在每个状态下选择动作的规则，记作：a=π(s)

策略可以是：

  • 确定性策略：在相同状态下总是执行相同的动作。
  • 随机策略：在相同状态下以一定概率选择不同动作。

2）状态-价值函数（State-Value Function, V）
状态价值函数 V(s) 表示智能体从状态 s 开始，按照策略 π 采取行动后能获得的期望累积奖励：
在这里插入图片描述

3）状态-动作值函数（Q-Value, Q）
Q 值函数 Q(s,a) 表示智能体在状态 s 执行动作 a 后，按照策略 π 继续行动所能获得的期望累积奖励：
在这里插入图片描述
Q 值在 Q-learning 算法中非常重要，智能体通常通过学习 Q 值来优化策略。

4）贝尔曼方程（Bellman Equation）
贝尔曼方程描述了状态价值函数和 Q 值之间的递归关系：
在这里插入图片描述
贝尔曼方程是强化学习算法（如 Q-learning, SARSA）的核心基础。

在这里插入图片描述

强化学习的过程

强化学习的目的是训练策略函数，使其在各种状态下，都能做出正确的决策（动作），以简捷的达到最终的目标。 强化学习的学习方式，是智能体与环境不断交互进行学习。
在这里插入图片描述

交互过程参考下图：
在这里插入图片描述
其中， St 是 t 时刻的状态， at 是 t 时刻的动作， rt 是环境给予动作的奖励。

值函数

研究人员利用奖励累积的概念定义了值函数，用以描述一个状态或动作与最终目标的接近程度，或者说是对于达到最终目标的贡献的大小。

强化学习的主要算法分类

强化学习算法可以分为三大类：

1）基于值迭代的方法（Value-based Methods）

目标：学习状态值函数 V(s) 或 Q 值函数 Q(s,a)，然后通过贪心策略选择最佳动作。

代表算法：

  • Q-learning（最著名的强化学习算法）
  • SARSA（基于策略的 Q-learning 变体）
  • Deep Q-Network (DQN)（结合深度学习的 Q-learning）

2）基于策略的方法（Policy-based Methods）

目标：直接学习策略 π，不显式存储 Q 值。

代表算法：

  • 策略梯度（Policy Gradient, PG）
  • 深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）
  • 近端策略优化（Proximal Policy Optimization, PPO）
  • 优势演员-评论家（Advantage Actor-Critic, A2C/A3C）

3）基于模型的方法（Model-based Methods）

目标：学习环境的状态转移模型，然后进行规划，以减少试错次数。

代表算法：

  • Dyna-Q（结合 Q-learning 和环境建模）
  • AlphaGo（使用蒙特卡洛树搜索）

参考

1、知乎-强化学习及值函数入门
2、知乎-Q-Learning算法入门–强化学习

逆强化学习 (Inverse Reinforcement Learning) 原理与代码实例讲解
AI天才研究院
05-31 3377
逆强化学习（Inverse Reinforcement Learning，简称IRL）是机器学习和人工智能领域中一个重要的研究方向。它的出现源于这样一个问题：在许多实际应用场景中，我们往往能够观察到专家或人类的行为，但却难以直接定义或量化这些行为背后的奖励函数。传统的强化学习假设奖励函数是已知的，而逆强化学习则试图从观察到的行为中推断出潜在的奖励函数。逆强化学习的概念最早由Stuart Russell在1998年提出，但直到2000年代中期才开始受到广泛关注。
强化学习RL（Reinforcement Learning）
Jiashilin
05-19 1711
思想： 强化学习灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能够获得最大利益的习惯性行为。 AI = RL + DL （from David Silver） 强化学习没有任何的标签来告诉算法应该怎么做，它会先去尝试做一些动作，然后得到一个结果，通过判断这个结果是对还是错来对之前的动作进行反馈（对了会获得奖赏，得分，通过...
动态分层强化学习（Dynamic Hierarchical Reinforcement Learning, DHRL）算法详解及Python实现
qq_42568323的博客
12-31 1300
在传统强化学习（RL）中，策略 ( \pi(a|s) ) 学习直接将状态映射到动作。然而，当任务复杂、状态维度高或奖励稀疏时，单层策略难以有效学习。高层策略：负责规划子任务或目标，指导低层策略的学习。低层策略：完成具体的子任务，并将动作映射到环境中。本文系统地介绍了动态分层强化学习（DHRL）算法，涵盖其核心思想、数学原理、Python 实现和典型应用案例。DHRL 在解决复杂任务时，因其动态调整能力表现出色。
【机器学习】强化学习
最新发布
藓类少女的博客
03-19 1268
1. 强化学习的基本概念强化学习问题通常被建模为马尔可夫决策过程（Markov Decision Process, MDP）智能体（Agent）：学习的主体，比如机器人、自动驾驶汽车、游戏 AI 等。环境（Environment）：智能体所处的世界，它可以是物理环境（现实世界）或虚拟环境（游戏、金融市场等）。状态（State, S）：描述环境当前的情况。例如，在自动驾驶中，状态可能包括道路状况、速度、障碍物位置等。动作（Action, A）：智能体可以采取的行为。
强化学习Reinforcement Learning
Huiyu Blog
08-16 1109
什么是强化学习？ 强化学习是机器学习的一种学习方式，它跟监督学习、无监督学习是平级关系。但强化学习和监督学习、无监督学习 最大的不同就是不需要大量的“数据喂养”。而是通过自己不停的尝试来学会某些技能。 强化学习算法的思路非常简单，以游戏为例，如果在游戏中采取某种策略可以取得较高的得分，那么就进一步「强化」这种策略，以期继续取得较好的结果。这种策略与日常生活中的各种「绩效奖励」非常类似。 强化学习...
机器学习算法（三十）：强化学习（Reinforcement Learning）
热门推荐
weixin_39910711的博客
04-26 5万+
目录 1 简介 1.1 什么是强化学习 1.2 强化学习的主要特点 1.3 强化学习的组成部分 2强化学习训练过程 3强化学习算法归类 3.1 Value Based 3.2Policy Based 3.3 Actor-Critic 3.4 其他分类 4EE（Explore & Exploit）探索与利用 5 强化学习实际开展中的难点 6 强化学习的实际应用 6.1 自动驾驶 6.2 游戏 6.3 推荐系统 7 Q-learning 8 策略梯度 ...
详解强化学习（Reinforcement Learning）（基础篇）
m0_73916791的博客
11-26 3258
不过，目前有许多开源的强化学习库（如OpenAI Gym、TensorFlow、PyTorch等），提供了DDPG算法的实现示例和教程，可以参考这些库中的示例代码来实现DDPG算法。Actor网络通过最大化值函数Q(s, a)的梯度来更新策略函数的参数，而Critic网络通过值函数的近似来估计最大化累积奖励。其中，Q(s, a)表示在状态s执行动作a的累计奖励估计值，α为学习率，r为当前的立即奖励，γ为折扣因子，s’为执行动作a后的新状态，a’为在新状态s’下的最优动作。
强化学习（RL)——Reinforcement learning
雨落i的博客
09-24 1万+
强化学习（Reinforcement Learning, RL）**是机器学习中的一个领域**，又称再励学习、评价学习或增强学习。强化学习也是一类机器学习算法, 而强化学习是介于监督学习和非监督学习的另外一种学习方式。 强化学习+深度学习就等同于人工智能！
强化学习RL
星梦的博客
12-10 373
强化学习（Reinforcement Learning RL）也有很多其他名字，例如再励学习、增强学习、评价学习，是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过程中，通过学习策略以达成回报最大化或实现特定目标的问题。 强化学习过程主要由4部分构成：智能体（agent）、观测到的状态（observation/state）、奖励（reward）和行为（action） 深度强化学习是强化学习与深度学习结合的结果。顾名思义，就是将传统强化学习中的某一部分用深度学习来完成。 传统强化学习中的行为以
强化学习(RL)
机器学习知识点整理
05-10 3748
强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。——wiki强化学习在许多学科都有应用，除了AI外，还包括自动化的控制理论，数学中的运筹学和认知科学。在机器学习中，通常可以分为有监督学习（分类，回归），无监督学习（聚类，降维）和强化学...
强化学习（Reinforcement Learning, RL）
易之阴阳，量子纠缠，道之一体，缘起性空
04-14 1015
强化学习（Reinforcement Learning, RL）是一种机器学习范式，其目标是使智能体（agent）通过与环境（environment）的交互学习如何在一系列复杂情况下做出最优决策，以最大化长期累积奖励（reward）。环境是智能体所处的外部世界模型，它定义了状态空间（State Space）、动作空间（Action Space）、状态转移概率（Transition Dynamics）以及奖励函数（Reward Function）。环境对智能体的动作作出响应，产生新的状态以及相应的奖励信号。
安全强化学习（Safe Reinforcement Learning）算法详解与Python实现
qq_42568323的博客
01-02 1613
安全强化学习是一种在强化学习框架中引入安全性约束的方法，旨在确保智能体在学习过程中始终满足安全性要求。安全性约束可以是硬约束（必须满足）或软约束（尽可能满足）。本文详细介绍了安全强化学习的核心概念，并使用Python实现了该算法。我们通过三个实际案例展示了其应用，并为每个案例选择了最适合的设计模式。安全强化学习在处理需要确保安全性的任务时具有显著优势，能够通过引入安全性约束来确保智能体在学习过程中始终满足安全性要求。
分层强化学习（Hierarchical Reinforcement Learning, HRL）算法详解与Python实现
qq_42568323的博客
01-03 882
分层强化学习是一种将复杂任务分解为多个子任务的强化学习方法。通过引入层次化的策略结构，HRL能够更高效地解决复杂任务。本文详细介绍了分层强化学习的核心概念，并使用Python实现了该算法。我们通过三个实际案例展示了其应用，并为每个案例选择了最适合的设计模式。分层强化学习在处理复杂任务时具有显著优势，能够通过层次化的策略结构提高学习效率和可扩展性。通过本文的学习，读者可以掌握分层强化学习算法的基本原理和实现方法，并能够将其应用于实际问题中。希望本文能为读者在强化学习领域的研究和实践提供有价值的参考。
多智能体强化学习 (MultiAgent Reinforcement Learning)
AI天才研究院
10-02 1884
多智能体强化学习 (Multi-Agent Reinforcement Learning) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 多智能体强
强化学习Reinforcement Learning原理与核心算法概述
AI天才研究院
10-08 1461
强化学习（Reinforcement Learning, RL）是机器学习领域中一个重要的分支，它模拟了人类学习的过程，使机器能够在未知环境中通过试错的方式学习到最优行为策略。与监督学习（Supervised Learning）和深度学习（Deep Learning）不同，强化学习关注于决策和策略的学习，而不是从已知数据中学习特征和分类。强化学习的起源可以追溯到20世纪50年代，当时学者们开始研究如何使机器进行决策。经过几十年的发展，强化学习在游戏、机器人、自动驾驶、推荐系统等领域取得了显著的成果。
强化学习基础一：强化学习新手必看！一文读懂基础概念与关键要点
2302_80236633的博客
03-02 1210
强化学习（reinforcement learning，RL） 讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment） 中最大化它能获得的奖励。如图 1所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作 （action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。智能体的目的就是尽可能多地从环境
深度强化学习（RL）介绍
chenchihwen的专栏
11-24 1784
强化学习不同于监督学习，在一些任务中数据标注困难，但机器可通过环境反馈知道结果好坏。强化学习是机器学习的一部分，可定义为寻找一个策略（函数），使智能体（Actor）在给定观察（Observation）时能选择最佳行动（Action），以最大化总奖励（Reward）。例如在玩太空侵略者游戏或围棋时，智能体根据游戏状态（观察）采取行动，如移动、射击（太空侵略者）或落子（围棋），游戏结束时根据结果获得奖励（如消灭外星人得分、赢得围棋比赛得 1 分等）123。
什么是强化学习？
学习与分享人工智能技术
11-22 5631
本文详细介绍了强化学习的概念、主要构成部分、流程以及常见的强化学习算法。
深度学习学习经验——强化学习（rl）
Linductor的博客
08-25 1098
我们将使用一个简单的神经网络作为我们的智能体，它将输入贪吃蛇游戏的状态，输出每个可能的动作的“价值”（即采取该行动的预期回报）。在强化学习中，我们通常使用Q-learning算法来训练这个网络。self.fc1 = nn.Linear(grid_size * grid_size, 128) # 第一层全连接层，输入大小为网格大小平方self.fc2 = nn.Linear(128, 64) # 第二层全连接层。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WW、forever

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值