【SSL-RL】自监督强化学习：对比预测编码（CPC）算法

本文链接：https://blog.csdn.net/qq_51399582/article/details/143187056

📢本篇文章是博主强化学习（RL）领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对相关等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。文章分类在👉强化学习专栏：

【强化学习】（39）---《自监督强化学习：对比预测编码（CPC）算法》

自监督强化学习：对比预测编码（CPC）算法

[Python] CPC在强化学习中的实现代码

1. 引言

Contrastive Predictive Coding (CPC) 是一种用于学习有效表示的自监督学习方法，它可以用于强化学习环境中来帮助智能体学习有用的状态表示。CPC主要通过对序列数据进行建模，并通过对比学习（Contrastive Learning）来提取全局特征。CPC的核心思想是最大化当前观察和未来潜在特征的互信息，进而学习到有用的表征。

CPC算法由DeepMind提出，它的主要目的是减少无监督学习中对标签的依赖，同时最大化局部信息和全局特征之间的关联。

2. CPC算法核心思想

CPC的核心在于通过对比学习来实现未来信息的预测，并最大化观测数据的潜在表征之间的互信息。其主要流程包括以下几个关键步骤：

编码器（Encoder）：将原始观测数据编码为潜在空间中的向量表示。
上下文表征（Context Representation）：通过RNN或卷积神经网络（CNN）等方法，整合当前和过去的信息，生成一个上下文向量。
未来预测（Future Prediction）：利用上下文表示来预测未来的潜在表示，通过对比学习的方式训练模型区分真实的未来表示与随机负样本。

2.1 互信息最大化

CPC的目标是通过最大化当前上下文和未来潜在特征之间的互信息来学习有用的表征。互信息可以被视为一种度量，它反映了两个变量之间的依赖关系。在CPC中，通过最大化互信息，模型可以捕捉数据中长时间范围的依赖关系，从而学习到全局特征。

互信息 $(I(c, z_{t+k}))$ 的公式表示如下：

$[ I(c, z_{t+k}) = H(z_{t+k}) - H(z_{t+k} | c) ]$

其中 $(c)$ 是上下文表示， $(z_{t+k})$ 是未来的潜在表示， $(H)$ 表示熵。

2.2 对比学习目标

CPC的训练目标是通过**对比学习（Contrastive Learning）**来最大化正确预测未来的潜在表示。对于给定的上下文表示 $(c_t)$ ，模型会尝试预测未来的潜在表示 $(z_{t+k})$ （正样本），并与一些随机的负样本进行对比。训练过程中，模型会学习如何区分正确的未来表示和错误的负样本。

具体来说，CPC利用了InfoNCE损失，其形式如下：

$[ L_{NCE} = -\mathbb{E}\left[\log \frac{\exp(f(c_t, z_{t+k}))}{\sum_{z' \in \mathcal{Z}} \exp(f(c_t, z'))}\right] ]$

其中， $(f(c_t, z_{t+k}))$ 是上下文向量和潜在表示之间的相似性度量，通常采用点积形式， $(\mathcal{Z})$ 是负样本集合。

2.3 潜在空间中的特征提取

CPC的另一个重要特点是它将原始高维数据（如图像、音频或其他时间序列数据）压缩到潜在空间中，通过编码器和预测模型学习到的数据表示具有高效的特征提取能力。这种表示可以应用于多种任务，包括分类、回归以及强化学习中的状态表示学习。

潜在空间中的表示 $(z_t)$ 通常通过以下方式获得：

$[ z_t = g_{\theta}(x_t) ]$

其中 $(g_{\theta})$ 是编码器网络， $(x_t)$ 是原始输入数据。

3. CPC算法工作流程

CPC的工作流程主要包括以下几个步骤：

数据编码：首先将输入数据通过编码器映射到潜在空间，获得相应的潜在表示 $(z_t)$ 。
上下文构建：利用过去的潜在表示 $(z_{t-1}, z_{t-2}, \dots)$ 构建上下文向量 $(c_t)$ ，通常通过RNN或卷积网络实现。
未来预测：利用上下文表示 $(c_t)$ 预测未来的潜在表示 $(z_{t+k})$ 。
对比学习：通过InfoNCE损失，模型学习如何区分正确的未来潜在表示和随机的负样本。
参数更新：通过反向传播算法，利用InfoNCE损失更新模型的参数。

4. CPC在自监督强化学习中的应用

在自监督强化学习中，CPC可以被用于状态表示学习，即从高维观测数据（如图像或视频帧）中提取有用的低维状态表示。这些低维表示能够有效捕捉环境中的关键信息，从而帮助智能体更好地进行决策。

CPC在强化学习中的应用包括：

有效状态表示学习：通过CPC，智能体可以从环境观测中提取有用的表示，减少维度并去除冗余信息。
增强探索策略：CPC可以帮助智能体在探索过程中更好地捕捉长时间依赖关系，从而提高探索效率。
无监督或稀疏奖励场景中的强化学习：在没有明确奖励信号或奖励稀疏的环境中，CPC提供了一种有效的表示学习方法，使得智能体能够通过自监督方式学习到有用的特征。

[Python] CPC在强化学习中的实现代码

CPC主要用于从高维的观测（如图像）中学习有用的状态表示，这些表示可以帮助强化学习智能体更高效地进行决策。接下来将逐步解释如何通过编码器、上下文表征和对比学习等组件实现CPC，并给出相应的代码实现。

🔥若是下面代码复现困难或者有问题，欢迎评论区留言；需要以整个项目形式的代码，请在评论区留下您的邮箱📌，以便于及时分享给您（私信难以及时回复）。

1. 数据预处理与编码器部分

强化学习中的观测数据通常是高维的，比如图像。CPC首先需要通过一个编码器将这些高维的观测数据转换为低维的潜在表示。我们可以使用卷积神经网络（CNN）作为编码器来提取图像特征。

"""《CPC在强化学习中的实现代码》
    时间：2024.10
    作者：不去幼儿园
"""
import torch
import torch.nn as nn

class Encoder(nn.Module):
    def __init__(self, input_channels, latent_dim):
        super(Encoder, self).__init__()
        self.conv1 = nn.Conv2d(input_channels, 32, kernel_size=4, stride=2, padding=1)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=4, stride=2, padding=1)
        self.conv3 = nn.Conv2d(64, 128, kernel_size=4, stride=2, padding=1)
        self.fc = nn.Linear(128 * 8 * 8, latent_dim)

    def forward(self, x):
        x = torch.relu(self.conv1(x))
        x = torch.relu(self.conv2(x))
        x = torch.relu(self.conv3(x))
        x = x.view(x.size(0), -1)  # flatten
        latent_rep = self.fc(x)
        return latent_rep

输入：input_channels 是观测数据的通道数（例如RGB图像的通道数为3），latent_dim 是潜在表示的维度。
输出：编码器将高维的观测（例如图像）映射到低维的潜在表示空间。

2. 上下文建模

CPC的一个关键部分是上下文建模。上下文表示结合了过去的观测信息，用于预测未来的潜在表示。上下文可以通过循环神经网络（如GRU或LSTM）来实现。

class ContextRNN(nn.Module):
    def __init__(self, latent_dim, hidden_dim):
        super(ContextRNN, self).__init__()
        self.rnn = nn.GRU(latent_dim, hidden_dim, batch_first=True)
        
    def forward(self, z_sequence):
        # z_sequence shape: (batch_size, sequence_len, latent_dim)
        context, _ = self.rnn(z_sequence)  # context shape: (batch_size, sequence_len, hidden_dim)
        return context

输入：编码器生成的潜在表示序列 z_sequence，其中每个元素是编码后的潜在表示。
输出：context 是通过RNN处理后的上下文信息，用于后续的未来预测。

3. 未来预测与对比学习

在CPC中，我们通过上下文来预测未来的潜在表示。为了训练模型，CPC使用了对比学习的策略，模型需要学会将正确的未来表示（正样本）与随机选择的负样本区分开来。

使用InfoNCE损失来实现对比学习：

class CPC(nn.Module):
    def __init__(self, encoder, context_rnn, latent_dim, hidden_dim, num_negative_samples):
        super(CPC, self).__init__()
        self.encoder = encoder
        self.context_rnn = context_rnn
        self.predictor = nn.Linear(hidden_dim, latent_dim)  # 用于预测未来的潜在表示
        self.num_negative_samples = num_negative_samples
    
    def forward(self, observations):
        # Step 1: 编码每个观测
        batch_size, sequence_len, c, h, w = observations.size()
        z_sequence = torch.zeros(batch_size, sequence_len, latent_dim)
        
        for t in range(sequence_len):
            z_sequence[:, t, :] = self.encoder(observations[:, t, :, :, :])
        
        # Step 2: 获取上下文表示
        context = self.context_rnn(z_sequence)
        
        # Step 3: 预测未来的潜在表示
        loss = 0.0
        for t in range(sequence_len - 1):
            z_t_k = z_sequence[:, t+1, :]  # 真实的未来潜在表示
            c_t = context[:, t, :]         # 当前上下文表示
            
            z_t_k_pred = self.predictor(c_t)  # 通过上下文预测的未来潜在表示
            
            # Step 4: InfoNCE损失
            pos_sim = torch.exp(torch.sum(z_t_k * z_t_k_pred, dim=-1))  # 正样本相似度
            neg_sim = 0.0
            for _ in range(self.num_negative_samples):
                neg_sample = z_sequence[torch.randperm(batch_size), t+1, :]  # 负样本
                neg_sim += torch.exp(torch.sum(neg_sample * z_t_k_pred, dim=-1))
            
            # 计算NCE损失
            loss += -torch.log(pos_sim / (pos_sim + neg_sim))
        
        return loss / (sequence_len - 1)

输入：观测序列 observations（形状为 $[batch_size, sequence_len, c, h, w]$ ），其中 c, h, w 是图像的通道、宽度和高度。
输出：CPC模型的训练损失，使用InfoNCE来区分正样本和负样本。
预测：通过上下文 $c_t$ 来预测未来的潜在表示 z_t_k_pred，并与真实未来表示 z_t_k 进行对比。

4. 强化学习中的应用

CPC主要用于学习观测数据的潜在表示，这些表示可以用于强化学习智能体中的状态表示。以下是将CPC与常规强化学习（如DQN或PPO）相结合的思路：

状态表示学习：通过CPC编码器，强化学习智能体可以将原始高维的观测（如图像）转换为低维的状态表示。
与强化学习算法结合：这些低维表示可以作为强化学习算法（如DQN）的输入。CPC负责学习状态表示，RL负责基于这些状态进行决策和学习策略。

伪代码：

"""《CPC在强化学习中的实现代码》
    时间：2024.10
    作者：不去幼儿园
"""
# 初始化CPC和强化学习智能体（如DQN）
cpc_model = CPC(encoder, context_rnn, latent_dim, hidden_dim, num_negative_samples)
rl_agent = DQN(state_dim=latent_dim, action_dim=action_space)

for episode in range(num_episodes):
    observation_sequence = env.reset()
    
    # 通过CPC编码器获取潜在状态表示
    latent_states = []
    for t in range(len(observation_sequence)):
        latent_states.append(cpc_model.encoder(observation_sequence[t]))
    
    # 使用强化学习智能体进行决策
    actions = rl_agent.act(latent_states)
    
    # 环境反馈，并更新RL智能体
    rewards, next_observation_sequence = env.step(actions)
    latent_next_states = [cpc_model.encoder(obs) for obs in next_observation_sequence]
    
    # 更新CPC和RL智能体
    cpc_loss = cpc_model(observation_sequence)
    rl_loss = rl_agent.update(latent_states, actions, rewards, latent_next_states)