深度解析Soft Actor-Critic (SAC) 算法：原理、Trick与实现

最新推荐文章于 2025-03-13 16:06:27 发布
最新推荐文章于 2025-03-13 16:06:27 发布
阅读量1k 收藏 20
点赞数 25
分类专栏： 强化学习 SAC 文章标签： 算法 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_77130288/article/details/145690701
版权

一、引言
在强化学习领域，如何平衡探索与利用、提升样本效率一直是核心挑战。**Soft Actor-Critic (SAC)** 作为一种基于最大熵的深度强化学习算法，凭借其出色的稳定性和样本效率，成为解决连续控制问题的热门选择。本文将从原理出发，结合关键Trick的实现细节，深入剖析SAC算法。

二、SAC算法的核心思想
SAC的核心目标是在最大化累积奖励的同时，**最大化策略的熵**。这一设计使得Agent在训练过程中保持动态的探索性，避免陷入局部最优。此外，SAC属于**Off-Policy**算法，能够重复利用历史经验数据，显著提升样本效率。

三、 SAC的四大关键Trick详解

### 1. 重参数化采样（Reparameterization Trick）
**问题**：传统策略梯度方法中，动作采样过程不可导，导致梯度估计方差较大。  
**解决方案**：SAC通过重参数化将采样过程转化为可导操作。假设动作从高斯分布中采样，即 \( a = \mu(s) + \epsilon \cdot \sigma(s) \)（其中 \(\epsilon \sim \mathcal{N}(0,1)\)），将随机性转移到输入噪声，使得梯度可以直接反向传播到策略网络。  
**对比PPO**：PPO通过策略比率裁剪实现稳定更新，而SAC通过重参数化直接优化策略梯度，理论推导更简洁。

### 2. 双Q网络与双Target Q网络
**问题**：Q值过高估计是Q-learning类算法的常见问题。  
**解决方案**：  
- **双Q网络**：使用两个独立的Q网络（\(Q_{\theta_1}, Q_{\th

最低0.47元/天 解锁文章
如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
丨汀、的博客
07-14 4260
如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
（10-3）Actor-Critic算法：Soft Actor-Critic (SAC)
码农三叔
03-13 3625
在强化学习中，熵被引入到最大熵强化学习算法中，其中策略的熵用于探索和平衡探索与利用的关系。使用经验回放缓冲区中的样本数据，计算Q值（状态-动作对的价值估计）。通过最大化期望累积奖励和策略熵的加权和，SAC能够有效地处理连续动作空间和高维状态空间的问题，同时保持多样性和探索性。初始化演员（Actor）、目标演员、评论家（Critic）、目标评论家、策略（Policy）和目标策略网络的神经网络参数，然后设置其他算法参数，如学习率、目标熵、折扣因子等。如果策略的熵低于目标熵，增加目标熵的值，以鼓励更多的探索。
强化学习系列（7）：软演员 - 评论家（Soft Actor-Critic，SAC）算法及其优势
最新发布
Azperk的博客
03-13 1097
在传统的强化学习算法用于连续动作空间场景时，如DDPG和PPO等，虽然能取得一定成果，但往往侧重于最大化累计奖励，对探索和利用的平衡以及动作的多样性考虑不够全面。SAC算法引入了最大熵原理，旨在在最大化累计奖励的同时，尽可能增加动作的不确定性（熵），使得智能体在探索过程中能更充分地覆盖动作空间，找到更优的策略，尤其适用于复杂、动态的连续动作空间环境。
Soft Actor-Critic(SAC算法)
Cyrus_May的博客
09-06 2925
经过不断地soft policy evaluation和policy improvement，最终policy会收敛至。当|A|
Soft Actor-Critic（论文笔记）
KongCDY的专栏
12-27 2624
SoftActor-Critic SAC跟softQLearning一样在目标函数中引入熵，其目的是希望actor估计得动作在能够完成任务的基础上尽可能随机化。使得actor可以探索更多可能性，以达到近似最优（原文是near-optimal）的多种选择。假设有多个动作差不多一样好，policy应该设置每个动作有差不多一样的概率来选择他们。 本文的关键点： Off-policy方式更...
[RL 3] Soft Actor-Critic
xyp99的博客
10-07 407
论文: Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor Soft Actor-Critic Algorithms and Applications Soft Actor-Critic for Discrete Action Settings 算法理论 (tabular) motivation 设计actor-critic + max entropy +
MARL：【多智能体强化学习的参与者-注意力-批评家】
wq6qeg88的博客
03-30 1172
Actor-Attention-Critic for Multi-Agent Reinforcement Learning 多智能体强化学习的参与者-注意力-批评家 Abstract摘要 Reinforcement learning in multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in single-agent set
深度强化学习算法之SAC算法
热门推荐
欢迎来到菜鸡小文的博客
08-04 1万+
深度强化学习算法之SAC（Soft Actor Critic）算法 文章地址： Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor Soft Actor-Critic Algorithms and Applications 代码地址： demo1 demo2 参考地址： BLOG1 BLOG2 BLOG3 BLOG4 1、最大熵强化学习 一般的强化学习的目标
强化学习调参经验大集成：TD3、PPO+GAE、SAC、离散动作噪声探索、以及Off-policy 、On-policy 算法常见超参数
丨汀、的博客
07-15 8088
强化学习调参经验大集成：TD3、PPO+GAE、SAC、离散动作噪声探索、以及Off-policy 、On-policy 算法常见超参数
Soft ActorCritic: Stabilizing Deep Reinforcement Learning with Entropy Regularization
AI天才研究院
12-31 1034
1.背景介绍 深度强化学习(Deep Reinforcement Learning, DRL)是一种通过智能体与环境交互学习最佳行为策略的机器学习方法。它在许多应用领域取得了显著成果，例如游戏、机器人控制、自动驾驶等。然而，DRL的挑战之一是算法的稳定性和效率。在许多实际场景中，DRL算法可能会发散或者需要大量的训练时间才能收敛。 在DRL中，策略梯度(Policy Gradient)方法是一...
RL策略梯度方法之(十四):Soft Actor-Critic (SAC)
qq_38293297的博客
10-07 5858
本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。 文章目录原理解析算法实现总体流程代码实现 原理解析 算法实现 总体流程 代码实现
【强化学习】18 —— SAC（ Soft Actor-Critic）
sinat_52032317的博客
11-12 6577
之前的章节提到过在线策略算法的采样效率比较低，我们通常更倾向于使用离线策略算法。然而，虽然 DDPG 是离线策略算法，但是它的训练非常不稳定，收敛性较差，对超参数比较敏感，也难以适应不同的复杂环境。2018 年，一个更加稳定的离线策略算法 Soft Actor-Critic（SAC）被提出。SAC 的前身是 Soft Q-learning，它们都属于最大熵强化学习的范畴。Soft Q-learning 不存在一个显式的策略函数，而是使用一个函数QQQ的波尔兹曼分布，在连续空间下求解非常麻烦。于是 SAC 提
Soft Actor-Critic 论文笔记
geter_CS的博客
06-02 1万+
无模型深度强化学习算法（Model-free DRL）有两个主要缺点： 1.非常高的样本复杂性（需要与环境进行大量交互产生大量样本） 2.脆弱的收敛性（它的收敛性受超参数影响严重：学习率，探索常量等等） 这两个缺点限制了其应用于复杂的真实世界任务。 有些同策略算法（On-policy）样本效率低。比如TRPO，A3C，PPO等是同策略，他们每一步梯度计算都需要新的样本收集。而异策略算法（Off-p......
强化学习论文(1): Soft Actor-Critic
南阁风起的博客
02-22 1万+
加州伯克利大学发布的 off-policy model-free强化学习算法，soft actor-critic（SAC） 论文地址为：Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor 假定已经对经典强化学习建模和基本Actor-Critic方法有所了解...
【学习强化学习】十一、Soft Actor-Critic
weixin_42301220的博客
07-08 3877
Soft Actor-Critic (SAC)是面向Maximum Entropy Reinforcement learning 开发的一种off policy算法，和DDPG相比，Soft Actor-Critic使用的是随机策略stochastic policy，相比确定性策略具有一定的优势。Soft Actor-Critic兼具稳定性高和样本利用率高的优点。......
【文献阅读】Soft Actor-Critic（ERL的前一版）
wxmcp3的博客
09-04 768
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor Brief 文章链接paper 代码链接code 作者Sergey Levine来自加州伯克利分校UC Berkeley Abstract
Soft-Actor-Critic-强化学习算法
Mystery
01-26 2886
文章目录BackgroundQuick FactsKey EquationsEntropy-Regularized Reinforcement LearningSoft Actor-CriticExploration vs. ExploitationPseudocodeDocumentation Background SAC算法，它以off-policy方式优化随机策略，从而在随机策略优化和DDP...
【强化学习】常用算法之一 “SAC”
Code_and516的博客
06-29 1万+
强化学习（Reinforcement Learning，RL）是一种机器学习的分支，其目标是让智能体（agent）通过与环境的交互学习到最优的行为策略。SAC（Soft Actor-Critic）算法是近年来在强化学习领域取得重要突破的算法之一，它是一种基于策略优化和价值函数学习的算法。相对于传统的强化学习算法，SAC算法在优化过程中引入了熵正则化和软化策略更新的概念，使得智能体能够更好地探索未知的状态，提高学习效率。
行动者-评论家模型SAC
01-17
### 软演员-评论家（Soft Actor-Critic, SAC）模型理论 软演员-评论家(SAC)是一种基于最大熵框架下的off-policy actor-critic深度强化学习方法[^4]。此算法旨在通过最大化预期奖励的同时最小化动作分布的负熵来优化决策过程中的探索行为。 SAC引入了一个温度参数α用于控制奖励与熵之间的权衡关系，从而使得智能体能够在获得较高累积回报的基础上保持足够的随机性以促进更好的探索能力。此外，在训练过程中采用双Q网络结构以及目标平滑技术进一步提高了算法性能和数值稳定性。 ### 实现细节 为了实现SAC模型，以下是Python代码示例： ```python import torch import numpy as np from collections import deque class ReplayBuffer(object): def __init__(self, max_size=int(1e6)): self.storage = [] self.max_size = max_size self.ptr = 0 # 添加经验到回放缓冲区中 def add(self, transition): if len(self.storage) == self.max_size: self.storage[int(self.ptr)] = transition self.ptr = (self.ptr + 1) % self.max_size else: self.storage.append(transition) # 随机采样一批数据作为mini-batch进行更新 def sample(self, batch_size): ind = np.random.randint(0, len(self.storage), size=batch_size) states, next_states, actions, rewards, dones = [], [], [], [], [] for i in ind: state, next_state, action, reward, done = self.storage[i] states.append(np.array(state)) next_states.append(np.array(next_state)) actions.append(action) rewards.append(reward) dones.append(done) return { 'state': np.stack(states), 'next_state': np.stack(next_states), 'action': actions, 'reward': rewards, 'done': dones } # 定义Actor网络类 class Actor(torch.nn.Module): def __init__(self, input_dim, output_dim, hidden_dims=(256, 256)): super().__init__() net_layers = [] last_layer_size = input_dim for hdim in hidden_dims[:-1]: net_layers.extend([ torch.nn.Linear(last_layer_size,hdim), torch.nn.ReLU() ]) last_layer_size=hdim final_hidden=hidden_dims[-1] self.net=torch.nn.Sequential( *net_layers, torch.nn.Linear(last_layer_size,final_hidden), torch.nn.ReLU(), torch.nn.Linear(final_hidden,output_dim*2)) def forward(self,state): means_and_log_stds=self.net(state.float()) mean=means_and_log_stds[:,:mean.shape[1]] log_std=means_and_log_stds[:,mean.shape[1]:].clamp(-20.,2.) std=log_std.exp() normal_distribution=torch.distributions.Normal(mean,std) raw_action=normal_distribution.rsample() # Reparameterization trick. squashed_action=torch.tanh(raw_action).detach().numpy()[0] log_prob=(normal_distribution.log_prob(raw_action)-torch.log((1-squashed_action.pow(2)+1.e-6))).sum(dim=-1,keepdim=True) return squashed_action.item(),log_prob.detach().item() # Critic网络定义省略... ``` 上述代码片段展示了如何构建一个简单的Replay Buffer用来存储环境交互产生的状态转移四元组，并实现了Actor部分的功能。完整的Critic模块和其他辅助函数未在此处给出，但可以根据实际需求自行补充完成整个系统的搭建。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值