深度学习、强化学习：用PyTorch实现强化学习中的基于价值函数的方法DQN及ActorCritic方法

已于 2023-07-31 02:22:43 修改
阅读量1.7k 收藏
点赞数 2
分类专栏： Python实战 文章标签： 自然语言处理 人工智能 语言模型 编程实践 开发语言 架构设计
于 2023-07-31 00:39:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/universsky2015/article/details/132014089
版权
本文介绍了基于价值函数的强化学习方法，包括DQN和Actor-Critic，详细阐述了它们的基本概念、算法原理、操作步骤，并通过PyTorch实现代码实例进行讲解。DQN和Actor-Critic都是强化学习中解决最优决策问题的有效方法，分别通过神经网络学习Q值和策略。文章还讨论了未来发展趋势和挑战，如样本效率、动作估计和连续动作空间处理等。
摘要由CSDN通过智能技术生成

作者：禅与计算机程序设计艺术

1.简介

人工智能领域中，基于价值函数的方法是指采用状态和动作的函数来计算返回值（即价值）的机器学习方法，在游戏领域，这些方法被广泛应用于最优决策问题的求解上。近几年，随着深度学习技术的发展，基于价值函数的方法得到了越来越多的应用。本文将介绍DQN和Actor-Critic方法，并基于PyTorch框架进行相应的代码实践。希望能够帮助读者更好的理解强化学习相关算法的工作原理，并顺利完成项目实践。

2.基本概念术语说明

DQN和Actor-Critic方法都属于基于价值函数的强化学习算法。它们的区别主要在于更新方式不同。DQN和Actor-Critic方法都是通过神经网络拟合函数来获取最优策略的，但两者有一些不同。以下是一些重要的基本概念术语说明。

2.1 Q-learning

Q-learning是一种用于非马尔科夫决策过程（MDP）的预期改善控制方法。其核心思想是在给定状态下，根据策略来选择最佳动作，从而得到最大化收益的估计，然后根据实际收益更新估计值。Q-learning有两个主要优点：一是不需要建模环境，只需要定义动作值函数即可；二是可以利用过去的经验来快速学习新知识。在Q-learning中，将每一个状态和动作都作为输入，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI天才研究院
关注
专栏目录
订阅专栏
强化学习基础篇[3]：DQN、Actor-Critic详解
丨汀、的博客
06-03 845
在之前的内容中，我们讲解了Q-learning和Sarsa算法。在这两个算法中，需要用一个Q表格来记录不同状态动作对应的价值，即一个大小为状态个数，动作个数[状态个数，动作个数]状态个数，动作个数的二维数组。在一些简单的强化学习环境中，比如迷宫游戏中（图1a），迷宫大小为4*4，因此该游戏存在16个state；而悬崖问题（图1b）的地图大小为 4*12，因此在该问题中状态数量为48，这些都属于数量较少的状态，所以可以用Q表格来记录对应的状态动作价值。
强化学习打卡之DQN与Actor-Critic
weixin_41560321的博客
11-03 2789
强化学习打卡之DQN DQN为了解决动作空间过大造成维数灾难问题在Q-learning的基础上引入了神经网络。DQN 主要是把 Q 函数通过价值函数近似方法转换为一个深度神经网络。神经网络输入的是状态，输出每个动作的Q值。 前面学过Q-learning 是一种value-based的方法，不是学习策略，而是说有一个critic通过MC based的方法或者TD based的方法得出状态值函数 V π（s）进行 Policy Evaluation(策略评估)。 MC VS.TD 由上图MC和TD的更新公式可知
强化学习——DQN 算法与Actor-Critic
sosososoon的博客
11-03 2719
DQN 算法
强化学习基础篇[3]：DQN、Actor-Critic详细讲解
2401_85325397的博客
07-31 435
在之前的内容中，我们讲解了Q-learning和Sarsa算法。在这两个算法中，需要用一个Q表格来记录不同状态动作对应的价值，即一个大小为 $\[状态个数，动作个数\]$ 的二维数组。在一些简单的强化学习环境中，比如迷宫游戏中（图1a），迷宫大小为4\*4，因此该游戏存在16个state；而悬崖问题（图1b）的地图大小为 4\*12，因此在该问题中状态数量为48，这些都属于数量较少的状态，所以可以用Q表格来记录对应的状态动作价值。但当我们需要应用强化学习来解决实际问题时，比如解决国际象棋问题或围棋问题，那么
DQN 算法及 Actor-Critic 算法
hezzfew的博客
11-03 1112
DQN 算法及 Actor-Critic 算法 1 关键概念 DQN(Deep Q-Network)： 基于深度学习的Q-learning算法，其结合了 Value Function Approximation（价值函数近似）与神经网络技术，并采用了目标网络（Target Network）和经历回放（Experience Replay）的方法进行网络的训练。 State-value Function： 本质是一种critic。其输入为actor某一时刻的state，对应的输出为一个标量，即当act
DQN算法及actor-critic算法（强化学习蘑菇书第六七八章）
weixin_43405049的博客
07-24 1475
强化学习蘑菇书DQN部分
强化学习算法：ActorCritic 原理与代码实例讲解
AI天才研究院
06-27 786
强化学习算法：Actor-Critic 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Actor-Critic算法,强化学习,价值函数,策略梯度方法,RL案例研究
强化学习组队学习task04—— DQN 算法及 Actor-Critic 算法
weixin_45325331的博客
11-03 1607
文章目录一、DQN1.状态价值函数的估计方法2.Q函数3.DQN网络中的tips（1）目标网络（2）Exploration（3）Experience Replay(经验回放)4.DQN算法总结二、Q-learning进阶三、连续行为的Q-learning四、Actor-critic 一、DQN 在 Q-learning 中，我们使用表格来存储每个状态 s 下采取动作 a 获得的奖励，即状态-动作值函数 。然而，这种方法在状态量巨大甚至是连续的任务中，会遇到维度灾难问题，往往是不可行的。因此，DQN 是指基于
强化学习算法学习汇总笔记 (二) — Actor Critic、DDPG、A3C、
Hansry的博客
06-27 9653
一. Actor Critic 1.基本概念 Actor Critic 为类似于Policy Gradient 和 Q-Learning 等以值为基础的算法的组合。 a. 其中Actor 类似于Policy Gradient，以状态s为输入，神经网络输出动作actions，并从在这些连续动作中按照一定的概率选取合适的动作action。 b. Critic 类似于 Q-Learning 等以...
深度强化学习总结(DQN,DDQN,Actor-Critic,DDPG)
endlessne的博客
01-10 4384
DQN与Double DQN的区别： DQN： YtDQN=Rt+1+γmaxaQ(St+1,a:θt−)Y^{DQN}_t=R_{t+1}+ \gamma\underset{a}{max}Q(S_{t+1},a:\theta^-_t)YtDQN​=Rt+1​+γamax​Q(St+1​,a:θt−​). 即模型输出的为Q值,然后根据Q值去计算 YDQNY^{DQN}YDQN. Doube DQN： YtDoubleDQN=Rt+1+γQ(St+1,argmaxaQ(St+1,a:θt);θt−)Y^{D
第三章 DQN算法及Actor-Critic算法
qq_41491023的博客
11-02 1362
Double DQN 接下来要讲的是 train Q-learning 的一些 tip。第一个 tip 是做 Double DQN。那为什么要有 Double DQN 呢？因为在实现上，你会发现 Q value 往往是被高估的。上图来自于 Double DQN 的原始 paper，它想要显示的结果就是 Q value 往往是被高估的。 这边有 4 个不同的小游戏，横轴是 training 的时间，红色锯齿状一直在变的线就是 Q-function 对不同的 state estimate 出来的平均 .
PEFT库和transformers库在NLP大模型中的使用和常用方法详解
qq_44117805的博客
10-06 1044
原理：通过在预训练模型的权重矩阵中添加低秩矩阵，LoRA将大模型的微调问题转化为对小矩阵的优化。优点：显著减少训练时所需的参数，降低计算复杂度。使用场景：适合在计算资源有限的情况下进行快速微调。# 加载预训练模型和分词器# 配置LoRAr=8, # 低秩适配的秩# 应用LoRA# 训练代码（略）Adapter原理：在预训练模型的不同层之间插入小型的“适配器”网络，只微调适配器参数，保留主模型的权重不变。优点：适配器可以在不同任务之间共享，大幅度减少微调时的参数数量。使用场景。
BERT、自注意力机制与Transformer
exlink2012的专栏
10-10 466
Transformer、自注意力机制和BERT的出现，标志着NLP领域的一次重大革新。它们不仅改变了我们处理和理解语言数据的方式，也为未来的研究和应用开辟了新的道路。随着技术的不断发展，我们有理由相信，基于这些基础构建的更强大、更智能的系统将继续推动人工智能领域的进步。
自然语言处理问答系统
最新发布
不会代码的小林
10-10 296
在问答系统中，BERT可以用于文本编码和语义匹配，将输入的文本（如问题和答案）转换为向量表示，并计算它们之间的语义相似度，从而找到最匹配的答案。自然语言处理问答系统（NLP QA System）是自然语言处理领域的一个重要应用，它通过理解和解析用户提出的自然语言问题，从知识库或文本数据中检索相关信息，并提供准确和有意义的答案。答案生成：对于基于推理的问答系统，利用语义理解和推理能力生成准确的答案。信息检索：对于基于检索的问答系统，根据提取的关键信息和特征在知识库或文本数据中检索相关的答案。
BERT论文解读及情感分类实战（论文复现）
wei_shuo的博客
10-05 897
BERT论文解读及情感分类实战（论文复现）
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-03
10-04 2183
随着在纽约证券交易所上市的公司数量呈指数级增长，市场分析师、交易员和股东需要定期监控和评估大量公司的表现和战略转变，面临着重大挑战。提出了一种新颖的数据驱动方法，利用大型语言模型（LLMs）系统地分析和评估基于其SEC 10-K文件的公司表现。这些文件提供了公司财务表现和战略方向的详细年度报告，是评估公司健康状况各个方面（包括信心、环境可持续性、创新和劳动力管理）的丰富数据源。此外，介绍了一个自动化系统，用于提取和预处理10-K文件。
自然语言处理问答系统技术
萧鼎的博客
10-01 1671
自然语言处理问答系统是NLP领域的一个重要应用。通过语义理解、信息检索和答案生成等关键技术，问答系统可以帮助用户从海量信息中快速找到答案。在实现中，基于BERT的语义匹配以及GPT的生成能力是当前的主流解决方案。未来，随着NLP技术的进一步发展，问答系统的精确度和应用范围将会进一步提升。通过本文，我们展示了问答系统的基本架构和技术，并通过代码示例展示了如何快速搭建一个基于BERT模型的问答系统。希望能为读者提供有价值的参考。
自然语言处理问答系统：技术进展、应用与挑战
hong161688的博客
10-10 693
自然语言处理问答系统作为人工智能领域的重要应用之一，在语义理解、信息检索、知识表示和推理等方面取得了显著的进展。问答系统在教育、医疗、金融和电商等领域发挥着重要作用，为用户提供了便捷的服务和个性化的体验。然而，问答系统在实际应用中仍然面临着诸多挑战，如语义理解的复杂性、知识获取与更新的难题以及推理与生成能力的局限性等。未来，随着人工智能技术的不断发展，问答系统将迎来更加广阔的发展前景和更多的创新机遇。我们期待看到更多优秀的问答系统不断涌现，为人类社会的发展和进步贡献更多的智慧和力量。
神经风格迁移深度学习教程：使用Pytorch实践
资源摘要信息:"Pytorch深度学习教程之神经风格迁移" 知识点一：Pytorch框架概述 Pytorch是由Facebook开发的开源机器学习库，它广泛应用于计算机视觉和自然语言处理等领域。Pytorch支持动态计算图，能够提供更加灵活...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值