【强化学习原理+项目专栏】必看系列：单智能体、多智能体算法原理+项目实战、相关技巧（调参、画图等)、趣味项目实现、学术应用项目实现

已于 2023-07-05 10:13:18 修改
阅读量3.4k 收藏 57
点赞数 6
分类专栏： # 强化学习单智能体算法原理+项目实战 # 强化学习多智能体原理+项目实战 强化学习（原理+项目实战）大合集 文章标签： 深度学习 tensorflow 人工智能 强化学习 ddpg
于 2023-06-02 11:51:14 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/131002601
版权
该博客提供了一个强化学习的全面指南，包括单智能体和多智能体算法的原理与实战项目。内容涵盖TensorFlow Gym基础、DDPG、DQN等主流算法，以及调参、画图技巧。此外，还涉及趣味项目如超级玛丽和学术应用项目如无人机调度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
【强化学习原理+项目专栏】必看系列：单智能体、多智能体算法原理+项目实战、相关技巧（调参、画图等、趣味项目实现、学术应用项目实现

对于深度强化学习这块规划为：

  • 基础单智能算法教学（gym环境为主）
  • 主流多智能算法教学（gym环境为主）
    • 主流算法：DDPG、DQN、TD3、SAC、PPO、RainbowDQN、QLearning、A2C等算法项目实战
  • 一些趣味项目（超级玛丽、下五子棋、斗地主、各种游戏上应用）
  • 单智能多智能题实战（论文复现偏业务如：无人机优化调度、电力资源调度等项目应用）

本专栏主要方便入门同学快速掌握强化学习单智能体|多智能体算法原理+项目实战。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知其然、知其所以然、知何由以知其所以然。

在这里插入图片描述

0.tensorflow_gym-强化学习基础入门（推荐新人看）

【一】gym环境安装以及安装遇到的错误解决

【二】gym初次入门一学就会—代码详细解析简明教程----平衡杆案例

【三】gym简单画图、快来上手入门吧，超级简单！

【四】gym搭建自己的环境，全网最详细版本，3分钟你就学会了！

【五】gym搭建自己的环境之寻宝游戏，详细定义自己myenv.py文件以及算法实现

【六】gym搭建自己环境升级版设计，动态障碍------强化学习

【七】强化学习、gym学习平台扩充，更好的玩转虚拟环境，关于mujoco、mujoco-py、baselines安装配置----待更新------
在这里插入图片描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/b64791cf8f964947bd86eb46b31d6d19.png

在这里插入图片描述

1.强化学习单智能体算法原理+项目实战

1.1 前置教学：

【一】飞桨paddle【GPU、CPU】安装以及环境配置+python入门教学

【二】强化学习之Parl基础命令–PaddlePaddlle及PARL框架｛飞桨｝

【三】强化学习之PaddlePaddlle-Notebook、&pdb、ipdb 调试—及PARL框架

1.2 理论知识篇

在这里插入图片描述
强化学习从基础到进阶-案例与实践[1]：强化学习概述、序列决策、动作空间定义、策略价值函数、探索与利用、Gym强化学习实验

强化学习从基础到进阶-常见问题和面试必知必答[1]：强化学习概述、序列决策、动作空间定义、策略价值函数、探索与利用、Gym强化学习实验

强化学习从基础到进阶-案例与实践[2]：马尔科夫决策、贝尔曼方程、动态规划、策略价值迭代

强化学习从基础到进阶-常见问题和面试必知必答[2]：马尔科夫决策、贝尔曼方程、动态规划、策略价值迭代

强化学习从基础到进阶-案例与实践[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战

强化学习从基础到进阶-常见问题和面试必知必答[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战

强化学习从基础到进阶-案例与实践[4]：深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN

强化学习从基础到进阶-案例与实践[4.1]：深度Q网络-DQN项目实战CartPole-v0

强化学习从基础到进阶-案例与实践[4.2]：深度Q网络DQN-Cart pole游戏展示

强化学习从基础到进阶-常见问题和面试必知必答[4]：：深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN

强化学习从基础到进阶-案例与实践[5]：梯度策略、添加基线（baseline）、优势函数、动作分配合适的分数（credit）

强化学习从基础到进阶-案例与实践[5.1]：Policy Gradient-Cart pole游戏展示

强化学习从基础到进阶-常见问题和面试必知必答[5]：：梯度策略、添加基线（baseline）、优势函数、动作分配合适的分数（credit）

强化学习从基础到进阶-案例与实践[6]：演员-评论员算法（advantage actor-critic，A2C），异步A2C、与生成对抗网络的联系等详解

强化学习从基础到进阶-常见问题和面试必知必答[6]：演员-评论员算法（advantage actor-critic，A2C），异步A2C、与生成对抗网络的联系等详解

强化学习从基础到进阶–案例与实践[7]：深度确定性策略梯度DDPG算法、双延迟深度确定性策略梯度TD3算法详解

强化学习从基础到进阶–案例与实践[7.1]：深度确定性策略梯度DDPG算法、双延迟深度确定性策略梯度TD3算法详解项目实战

强化学习从基础到进阶-常见问题和面试必知必答[7]：深度确定性策略梯度DDPG算法、双延迟深度确定性策略梯度TD3算法详解

强化学习从基础到进阶–案例与实践[8]：近端策略优化（proximal policy optimization，PPO）算法

强化学习从基础到进阶-常见问题和面试必知必答[8]：近端策略优化（proximal policy optimization，PPO）算法

强化学习从基础到进阶–案例与实践含面试必知必答[9]：稀疏奖励、reward shaping、curiosity、分层强化学习HRL

强化学习从基础到进阶–案例与实践含面试必知必答[10]：模仿学习、行为克隆、逆强化学习、第三人称视角模仿学习、序列生成和聊天机器人

强化学习从基础到进阶–案例与实践[11]：AlphaStar论文解读、监督学习、强化学习、模仿学习、多智能体学习、消融实验

1.3 RL项目实战(本地版含码源)-old

【四】强化学习入门简介—PaddlePaddlle强化学习及PARL框架

【五】强化学习之Sarsa、Qlearing详细讲解----PaddlePaddlle【PARL】框架｛飞桨｝

【六】强化学习之DQN—PaddlePaddlle【PARL】框架｛飞桨｝

【七】强化学习之Policy Gradient—PaddlePaddlle【PARL】框架｛飞桨｝

【八】强化学习之DDPG—PaddlePaddlle【PARL】框架｛飞桨｝

【九】强化学习之TD3算法四轴飞行器仿真—PaddlePaddlle【PARL】框架

部分效果展示：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

基于TD3强化学习算法解决四轴飞行器悬浮任务

基于多智能体（无人机群）路径探索的深度强化学习

在这里插入图片描述

1.4 RL项目实战云端+本地版-new

待更新

2.强化学习多智能体原理+项目实战

2.1 理论原理篇

常见多智能体强化学习仿真环境介绍【一】｛推荐收藏，真的牛｝

多智能体强化学习算法【一】【MAPPO、MADDPG、QMIX】

多智能体强化学习算法【二】【MADDPG、QMIX、MAPPO】

多智能体强化学习算法【三】【QMIX、MADDPG、MAPPO】

【一】最新多智能体强化学习方法【总结】

【二】最新多智能体强化学习文章如何查阅｛顶会：AAAI、 ICML ｝

【三】多智能体强化学习（MARL）近年研究概览 ｛Analysis of emergent behaviors（行为分析)_、Learning communication（通信学习）｝

【四】多智能体强化学习（MARL）近年研究概览 ｛Learning cooperation（协作学习）、Agents modeling agents（智能体建模）｝

2.2 MARL项目实战

2.2.1MADDPG

【一】MADDPG-单智能体|多智能体总结（理论、算法）

【二】MADDPG多智能体算法实现(parl)【追逐游戏复现】

【三】补发一篇tensorflow下MADDPG环境搭建配置
在这里插入图片描述

3.强化学习相关技巧（调参、画图等）

强化学习调参技巧一： DDPG算法训练动作选择边界值_分析解决

强化学习调参技巧二：DDPG、TD3、SAC算法为例：

强化学习技巧三：Python多进程

强化学习技巧四：模型训练速度过慢、GPU利用率较低，CPU利用率很低问题总结与分析。
强化学习技巧五：numba提速python程序

python随机种子seed的作用（强化学习常用到）

python生成数据曲线平滑处理——(Savitzky-Golay 滤波器、convolve滑动平均滤波)方法介绍，推荐玩强化学习的小伙伴收藏

在这里插入图片描述

4.后续趣味项目实现（尝鲜看）

MarLio 马里奥的强化学习冒险

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.学术应用项目实现（计划中）

单智能多智能题实战（论文复现偏业务如：无人机优化调度、电力资源调度等项目应用）

敬请期待

多智能体强化学习 (MultiAgent Reinforcement Learning)
AI天才研究院
06-23 1954
强化学习 (Reinforcement Learning, RL) 是一种机器学习方法，它通过智能体与环境的交互来学习最优策略。在强化学习中，智能体通过观察环境的状态，采取行动并获得奖励，从而学习如何在不同的状态下采取最优的行动。强化学习已经在许多领域得到了广泛的应用，例如游戏、机器人控制、自然语言处理等。然而，在许多实际应用中，我们需要处理多个智能体之间的交互。例如，在博弈中，每个玩家都是一个智能体，他们的行动会影响其他玩家的奖励。在机器人控制中，多个机器人需要协作完成任务。
LLM单智能体系统vs.多智能体系统：优劣势对比分析
AI天才研究院
08-23 1381
1. 背景介绍 随着人工智能技术的飞速发展，大型语言模型（LLM）在自然语言处理领域取得了显著进展。LLM能够理解和生成人类语言，在机器翻译、文本摘要、对话系统等方面展现出强大的能力。然而，LLM的应用不仅仅局限于单智能体系统，多智能体系统也逐渐成为LLM研究的热点方向。 1.1 单智能体系统
LangChain 单智能体与多智能体编排模式总结
1.大规模企业集群服务开发和服务架构设计，性能优化等经验。 2.企业级数据仓库0-1落地经验。
04-08 843
LangChain的智能体系统是一个强大的框架，允许语言模型（LLMs）通过工具与外部环境交互，从而完成复杂任务。
【一】MADDPG-单智能体|多智能体总结（理论、算法）
2401_85373396的博客
06-14 1787
总的来说，Critic的状态估计网络的训练还是基于现实的Q值和估计的Q值的平方损失，估计的Q值根据当前的状态S和动作估计网络输出的动作A输入状态估计网络得到，而现实的Q值根据现实的奖励R，以及将下一时刻的状态S’和动作现实网络得到的动作A’ 输入到状态现实网络 而得到的Q值的折现值加和得到(这里运用的是贝尔曼方程)。对DQN来说，经验重放的方法变的不再适用(如果不知道其他智能体的状态，那么不同情况下自身的状态转移会不同），而对PG的方法来说，环境的不断变化导致了学习的方差进一步增大。
单智能体、多智能体强化学习基本概念及算法分类？为啥提出多智能体强化学习，现状？
热门推荐
qq_40089637的博客
08-30 1万+
如图所示，是本人没错。本篇美文将把单智能体、多智能体强化学习基本概念做个初步介绍。主要围绕：什么是单智能体强化学习？单智能体强化学习中基本算法分类？为啥提出多智能体强化学习？多智能体强化学习基本概念？来进行介绍，大佬请自动忽略本文，嘻嘻嘻。
深度强化学习的核心概念与工作原理：智能体、环境和奖励机制的交互
一键难忘的博客
01-29 3792
深度强化学习是一种基于智能体（Agent）与环境（Environment）交互的学习框架。在这个框架中，智能体通过采取某些行动（Action）来影响环境，并通过反馈（奖励，Reward）来学习如何优化行为，最终实现任务目标。深度强化学习已经在多个领域取得了突破性的进展，并在推动人工智能发展方面发挥了巨大作用。随着研究的深入，深度强化学习的应用领域将不断扩展，特别是在处理复杂决策问题、协作学习、多智能体系统和跨领域迁移等方面，其潜力无可限量。
让多个 Agent 协同工作：PettingZoo 多智能体项目实战
努力分享一些人工智能相关的知识干货！
04-10 692
当你搭建好一个 Agent，还不足以应对真实世界的复杂任务。 真正强大的 AI 系统，往往是多个 Agent 各司其职、互相协作： 有的负责感知，有的负责判断，有的负责行动，有的负责校验。 **本章我们将首次进入多智能体系统的动手实战阶段，基于强化学习领域中广泛使用的 PettingZoo 多 Agent 环境，亲自训练和运行一个协作型智能体系统。** > 从环境选择、智能体定义、训练算法，到策略可视化与代码封装，一步步带你从 0 落地一个真正的多 Agent 协同系统。
DeepSeek 深度强化学习引擎在多智能体系统中的应用实战：策略学习与推理决策融合路径全解
最新发布
努力分享一些人工智能相关的知识干货！
04-24 629
在传统智能体架构中，行为决策大多基于静态规则或模版，但在复杂、动态、多步骤的任务中，这种方法无法满足智能体的进化需求。**强化学习（RL）提供了一种策略优化的通用解法，而 DeepSeek 则是多智能体系统中极具代表性的强化学习引擎。** 本篇将以工程实践为核心，解析 DeepSeek 的策略学习架构、训练流程与多 Agent 推理融合方法，讲透如何在实际系统中部署一个“会学习的 Reasoner”，并实现从经验中优化 Agent 行为策略。
图学习图神经网络算法专栏简介：含图算法（图游走模型、图神经网络算法等）原理+项目+代码实现+比赛
丨汀、的博客
04-07 1225
本人后续会持续整合ML、DRL、NLP等相关领域的体系化项目课程，方便入门同学快速掌握相关知识，后续会不断增添实战环节（比赛、论文、现实应用等）。这三块领域耦合情况比较大，后续会通过比如：搜索推荐系统整个项目进行耦合，各项算法都会耦合在其中。举例：知识图谱就会用到（图算法、NLP、ML相关算法），搜索推荐系统（除了该领域召回粗排精排重排混排等算法外，还有强化学习、知识图谱等耦合在其中），后续会持续实现。
多智能体 机器学习算法
08-21
针对多智能体系统进行机器学习的思路和方法总结，可以参考
AI Agent: AI的下一个风口 单智能体系统与多智能体系统的差异
AI天才研究院
10-06 1289
AI Agent: AI的下一个风口 单智能体系统与多智能体系统的差异 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1
LLM单智能体系统前沿研究：多智能体协作
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-06 234
近年来，大语言模型 (LLM) 如 GPT-3 和 LaMDA 等取得了突破性进展，展现出惊人的语言理解和生成能力。然而，现有的 LLM 大多是单智能体系统，缺乏与其他智能体协作的能力，限制了其在复杂任务中的应用。LLM 与 MAS 的结合是人工智能领域的前沿研究方向，具有巨大的潜力。具有更强的语言理解和生成能力，以及推理和规划能力。能够处理更复杂的任務和环境。基于深度学习和博弈论的协作算法。需要大量数据来训练 LLM 和 MAS。LLM 和 MAS 的决策过程难以解释。
强化学习—— 多智能体强化学习
Cyrus_May的博客
04-11 1万+
强化学习—— 多智能体强化学习1. 多智能体关系分类1.1 合作关系（Fully Cooperative）1.2 竞争关系（Fully Competitive）1.3 混合关系（Mixed Cooperative & Competitive）1.4 利己关系（self-interested）2. 专业术语（Terminologies）2.1 假设agent个数为2.2 状态为2.3 第i个agent的动作为2.4 状态转移函数2.5 奖励（Reward）2.6 回报（Return）2.7 策略
多智能体强化学习：鼓励共享多智能体强化学习中的多样性
燕双嘤
09-09 2281
题目：Celebrating Diversity in Shared Multi-Agent Reinforcement Learning 出处：Neural Information Processing Systems 34（NeurIPS 2021），人工智能的顶级会议。 摘要：最近，深度多智能体强化学习（MARL）已显示出解决复杂合作任务的前景。它的成功部分是由于智能体之间的参数共享。然而，这种共享可能导致智能体行为类似，并限制其协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中
【大模型专栏—基础篇】智能体入门
文艺倾年的博客
02-02 1245
😊你好，我是小航，一个正在变秃、变强的文艺倾年。🔔本文讲解智能体入门，期待与你一同探索、学习、进步，一起卷起来叭！🔔文章同步存在格式问题，还请见谅！
LLM单智能体系统与区块链：构建可信赖的智能体
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-09 115
1. 背景介绍 1.1 人工智能与智能体的兴起 人工智能（AI）近年来取得了巨大的进步，尤其是在自然语言处理（NLP）领域。大型语言模型（LLMs）如GPT-3和LaMDA展现出了惊人的语言理解和生成能力，为构建更智能、更自主的智能体（Agent）打开了新的可能性。智能体是能够感知环境、进行决
智能体（AI Agent）全解析：概念、原理至应用深度探索
lvaolan的博客
08-03 6001
一、智能体概念的深度剖析1.1 智能体（Agent）的本质智能体，作为人工智能领域的一颗璀璨明珠，是那些能够主动感知周遭环境、自主决策并付诸实践的系统实体。它们不仅拥有自主性、交互性、反应灵敏及高度适应性等鲜明特征，更在复杂多变的情境中展现出卓越的自我管理与任务执行能力。智能体的诞生，标志着人工智能技术从机械式的规则遵循迈向了更为灵活、智能的自主决策新时代。智能体的核心精髓在于其内置的学习与决策引擎。通过先进的学习算法与深度数据分析，智能体能够从浩瀚的数据海洋中提炼出宝贵的知识与洞察。
js阿拉伯语首字母排序
08-29
在JavaScript中，如果你需要对包含阿拉伯语字符的字符串列表按照首字母进行排序，通常情况下直接使用`sort()`函数可能会出现问题，因为它的默认比较规则是基于Unicode编码的字典顺序，这可能导致非预期的结果。阿拉伯语字母在拉丁字母表中的顺序并不符合其语音顺序。 为了实现正确的阿拉伯语首字母排序，你需要创建一个自定义的比较函数，这个函数会考虑每个字符的正确位置。你可以利用一些库，比如`arabic-sorter`或者`localeCompare`结合Arabic locale来进行排序。下面是一个简单的例子： ```javascript const arr = ['ز', 'أ', 'ب', 'ة', 'ك']; // 示例阿拉伯语字母 arr.sort(function(a, b) { return a.localeCompare(b, "ar", { numeric: false }); // 使用阿拉伯语本地化并忽略数字 }); console.log(arr); // 输出: [ 'أ', 'ب', 'ة', 'ك', 'ز' ] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值