强化学习论文笔记：Soft Actor Critic算法

最新推荐文章于 2024-10-12 03:36:43 发布
最新推荐文章于 2024-10-12 03:36:43 发布
阅读量3.9k 收藏 17
点赞数 4
分类专栏： 强化学习 论文阅读 学习笔记 文章标签： 机器学习 强化学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bozitong1996/article/details/105427065
版权

Soft Actor Critic是伯克利大学团队在2018年的ICML（International Conference on Machine Learning）上发表的off-policy model-free强化学习算法
论文地址为：Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor

 

无模型(model-free)的深度强化学习算法已经在一系列具有挑战性的决策制定和控制任务中得到了证明。然而，相比于基于模型(model-based)的算法，无模型算法通常面临两大挑战:非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调优。这两个挑战严重限制了这些方法在复杂的现实世界领域的适用性。在这个框架中，智能体的目标是最大化期望的回报，同时最大化熵。也就是说，在完成任务的同时尽可能随机行事。

此前，该团队曾经基于最大熵框架和Q-Learning算法提出了Soft Q-Learning（论文地址：Reinforcement Learning with Deep Energy-based Policies）。而Soft Actor Critc（下文简称为SAC）则是把最大熵框架和Actor Critic算法相结合。

包括A2C，A3C在内的Actor Critic算法都是On-policy算法，而SAC的另一个创新就是使用Off-policy更新。On-policy中，Agent与环境进行互动产生样本并更新Agent的策略。这样就导致了每次得到的样本在用来更新一次后就必须丢弃。Off-policy则可以引入Replay Buffer来储存历史样本用来多次学习，大大提高了样本利用率。以学习下棋为例，On-policy必须自己下棋并学习。而Off-policy则可以一边看着别人下棋一边学习。

 

（推荐台湾大学李宏毅教授的深度强化学习课程 https://www.bilibili.com/video/BV124411S7au?p=1）

直观上来说，我们要优化一个策略使得累计回报最大化，需要使用该策略得到的样本才能获得正确的梯度方向来进行梯度上升。如果使用别人的策略得到的样本就会产生错误的梯度方向。但是在某些环境下获得大量样本的代价是十分高昂的，所以我们要设法使用别人的样本来更新我们自己的策略。

比较常用的一种方法是重要性采样（Importance Sampling）

我们有一个服从分布p的连续型随机变量x，当我们想要计算函数f(x)的期望时，往往通过采样来近似。

如果不能从p分布中采样，只能从另一个分布q中采样的话，要计算f(x)的期望就可以通过重要性采样的方式，使用q中采样的x计算f(x)并乘以一个重要性系数。

基于上述理论，我们就可以利用其他策略得到的样本来更新Agent的策略。

但是，Off-policy并不是完全优于On-policy，Off-policy也有非常明显的缺点：训练过程不稳定以及对超参数非常敏感。

 

标准的强化学习的目标是找到使回报的期望最大的策略。SAC在计算每一步的奖励时把每一个状态下策略的熵作为正则项加到了奖励中。\alpha称为温度系数。

由此我们可以根据reward定义Q函数：

对于现实中的控制任务，能够实现目标的trajectory往往不止一条。Q函数大多是多峰的

 

在actor-critic中，策略使用高斯分布来表示，策略网络的输入为状态，输出为动作的均值和方差。这样的做法往往忽略了Q函数的其他极大值点，从而只能学到一种完成任务的方法。SAC中用玻尔兹曼分布来表示策略，并使用Q函数作为能量函数，以实现多峰分布。这样的策略能够为每一个action赋一个特定的符合Q值的分布的概率，这样的策略可以学到多个trajectory。由于策略是概率密度函数，使用V函数来进行归一化：

根据Q函数和\pi可以推导出V函数：

由于算法直接采用神经网络拟合价值函数，关于tabular情况下如何进行迭代求解Q_{soft}^{\pi}和V_{soft}^{\pi}，这里就不过多展开了，感兴趣的朋友可以参照SAC和SQL的原文。

 

 

将Q函数和V函数用神经网络表示，Q网络输入状态s和动作a，输出Q值，V网络输入状态s，输出V值。使用均方误差作为损失函数

真实值分别为

这里使用了我们上面提到的重要性采样来计算V_{soft}，这样SAC就是off-policy的，他的行为策略是策略神经网络的输出结果的采样，目标策略是\frac{1}{\alpha }exp(Q_{soft}(s_t,a_t) - V_{soft}(s_t,a_t))

接下来使用KL散度作为目标函数，最小化当前策略和目标策略的距离

由于策略网络输出是action分布的均值和方差，故无法对action求导，这里的action采用reparameterization trick来得到

策略网络输出平均值和方差，然后从标准正态分布采样得到\xi。这样f即是可微的。梯度为：

算法：

实验部分一共做了三组，在Mujoco环境里

第一组是平均回报，橙色的是SAC，基本上是第一或第二

第二组是对比确定性策略，随机策略的训练过程更加稳定。

第三组是看超参数对训练的影响，除了个别极端情况以外，训练过程都比较稳定

（10-3）Actor-Critic算法：Soft Actor-Critic (SAC)
码农三叔
03-13 2994
在强化学习中，熵被引入到最大熵强化学习算法中，其中策略的熵用于探索和平衡探索与利用的关系。使用经验回放缓冲区中的样本数据，计算Q值（状态-动作对的价值估计）。通过最大化期望累积奖励和策略熵的加权和，SAC能够有效地处理连续动作空间和高维状态空间的问题，同时保持多样性和探索性。初始化演员（Actor）、目标演员、评论家（Critic）、目标评论家、策略（Policy）和目标策略网络的神经网络参数，然后设置其他算法参数，如学习率、目标熵、折扣因子等。如果策略的熵低于目标熵，增加目标熵的值，以鼓励更多的探索。
深度强化学习之SAC（Soft Actor-Critic）
JustinMars的博客
06-27 648
AC通过引入策略熵来鼓励探索，同时采用双Q网络减少估计偏差，具有较好的稳定性和性能。上述代码示例展示了SAC的基本实现和训练过程，适用于连续动作空间的强化学习任务。
Soft Actor-Critic 论文笔记
geter_CS的博客
06-02 1万+
无模型深度强化学习算法（Model-free DRL）有两个主要缺点： 1.非常高的样本复杂性（需要与环境进行大量交互产生大量样本） 2.脆弱的收敛性（它的收敛性受超参数影响严重：学习率，探索常量等等） 这两个缺点限制了其应用于复杂的真实世界任务。 有些同策略算法（On-policy）样本效率低。比如TRPO，A3C，PPO等是同策略，他们每一步梯度计算都需要新的样本收集。而异策略算法（Off-p......
Soft Actor-Critic（论文笔记）
KongCDY的专栏
12-27 2497
SoftActor-Critic SAC跟softQLearning一样在目标函数中引入熵，其目的是希望actor估计得动作在能够完成任务的基础上尽可能随机化。使得actor可以探索更多可能性，以达到近似最优（原文是near-optimal）的多种选择。假设有多个动作差不多一样好，policy应该设置每个动作有差不多一样的概率来选择他们。 本文的关键点： Off-policy方式更...
强化学习笔记之【SAC算法】
最新发布
weixin_36246992的博客
10-12 124
强化学习笔记之【SAC算法】 前言： 本文为强化学习笔记第四篇，第一篇讲的是Q-learning和DQN，第二篇DDPG，第三篇TD3 TD3比DDPG少了一个target_actor网络，其它地方有点小改动 CSDN主页：https://blog.csdn.net/rvdgdsva 博客园主页：https://www.cnblogs.com/hassle 目录强化学习笔记之【SAC算法】前...
Soft Actor-Critic(SAC算法)
Cyrus_May的博客
09-06 2696
经过不断地soft policy evaluation和policy improvement，最终policy会收敛至。当|A|
Soft-Actor-Critic-强化学习算法
Mystery
01-26 2749
文章目录BackgroundQuick FactsKey EquationsEntropy-Regularized Reinforcement LearningSoft Actor-CriticExploration vs. ExploitationPseudocodeDocumentation Background SAC算法，它以off-policy方式优化随机策略，从而在随机策略优化和DDP...
【强化学习】18 —— SAC（ Soft Actor-Critic）
sinat_52032317的博客
11-12 3409
之前的章节提到过在线策略算法的采样效率比较低，我们通常更倾向于使用离线策略算法。然而，虽然 DDPG 是离线策略算法，但是它的训练非常不稳定，收敛性较差，对超参数比较敏感，也难以适应不同的复杂环境。2018 年，一个更加稳定的离线策略算法 Soft Actor-Critic（SAC）被提出。SAC 的前身是 Soft Q-learning，它们都属于最大熵强化学习的范畴。Soft Q-learning 不存在一个显式的策略函数，而是使用一个函数QQQ的波尔兹曼分布，在连续空间下求解非常麻烦。于是 SAC 提
强化学习论文(1): Soft Actor-Critic
热门推荐
南阁风起的博客
02-22 1万+
加州伯克利大学发布的 off-policy model-free强化学习算法，soft actor-critic（SAC） 论文地址为：Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor 假定已经对经典强化学习建模和基本Actor-Critic方法有所了解...
Soft Actor-Critic 算法
wangyifan123456zz的博客
04-15 622
https://zhuanlan.zhihu.com/p/70360272
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现
hhy_csdn的博客
07-09 6769
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现 算法简介 Soft Actor Critic，SAC算法是一种Off-policy算法，相比于PPO这种On-policy算法，sample efficiency有了提高，相比于DDPG及其变种D4PG，SAC又是一种随机策略算法。 SAC算法是在最大熵强化学习（Maximum Entropy Reinforcement Learning）的框架下构建起来的，目的是让策略随机化，好处是对于机器人控制问题非常友好，甚至可以在真实环境中使
强化学习Soft Actor-Critic算法：基于LunarLander登陆器的Soft Actor-Critic强化学习
01-13
强化学习Soft Actor-Critic算法。参考博客：https://blog.csdn.net/weixin_44584198/article/details/135546087 基于LunarLander登陆器的Soft Actor-Critic强化学习（含PYTHON工程）
Soft Actor-Critic（SAC）算法tensorflow实现
08-09
Soft Actor-Critic（SAC）算法tensorflow实现，SAC是深度强化学习中对于连续动作控制的又一经典。
7.soft actor-critic.ipynb
09-02
关于soft actor-critic的例子，适合初学者对深度强化学习soft actor-critic的认识和了解
深度强化学习：Soft Actor-Critic算法详解与入门
Soft Actor-Critic (SAC) 是一种基于深度强化学习 (Deep Reinforcement Learning, DRL) 的模型-free算法，它在原始论文《Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor》中首次...
【学习强化学习】十一、Soft Actor-Critic
weixin_42301220的博客
07-08 3279
Soft Actor-Critic (SAC)是面向Maximum Entropy Reinforcement learning 开发的一种off policy算法，和DDPG相比，Soft Actor-Critic使用的是随机策略stochastic policy，相比确定性策略具有一定的优势。Soft Actor-Critic兼具稳定性高和样本利用率高的优点。......
深度解读Soft Actor-Critic 算法
bbbeoy的专栏
06-27 2974
1 前言 机器人学习Robot Learning正在快速的发展，其中深度强化学习deep reinforcement learning（DRL），特别是面向连续控制continous control的DRL算法起着重要的作用。在这一领域中，目前可以说有三类行之有效的modle free DRL算法： TRPO,PPO DDPG及其拓展（D4PG,TD3等） Soft Q-Learning, Soft Actor-Critic PPO算法是目前最主流的DRL算法，同时面向离散控制和连续控制，在Open
Soft ActorCritic: Stabilizing Deep Reinforcement Learning with Entropy Regularization
AI天才研究院
12-31 970
1.背景介绍 深度强化学习(Deep Reinforcement Learning, DRL)是一种通过智能体与环境交互学习最佳行为策略的机器学习方法。它在许多应用领域取得了显著成果，例如游戏、机器人控制、自动驾驶等。然而，DRL的挑战之一是算法的稳定性和效率。在许多实际场景中，DRL算法可能会发散或者需要大量的训练时间才能收敛。 在DRL中，策略梯度(Policy Gradient)方法是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值