Error: The shape of the mask [4567] at index 0 does not match the shape of the indexed tensor [1, 45

错误：IndexError: The shape of the mask [4567] at index 0 does not match the shape of the indexed tensor [1, 4567] at index 0

找到错误代码行：

spec_reward = similarity[actions.squeeze().bool()].mean().clamp(min=0, max=1) 

分析：这段代码中，actions是一个形状为 (1, 4567) 的张量，它被squeeze()操作去掉了形状中的单个维度，结果是一个形状为 (4567,) 的张量。然后，bool()函数将其转换为一个布尔掩码，用于索引similarity张量。

报错的原因是，布尔掩码的形状应该是与similarity张量的形状兼容的，即(1, 4567)，而不是(4567,)。这意味着actions.squeeze()应该保持其形状为(1, 4567)，而不是被挤压成一维张量。为了修复这个错误，将bool改为(4567,) ：

# 假设 `actions.squeeze()` 用于消除 actions 的单维度，得到形状为 [4870] 的布尔掩码
mask = actions.squeeze().bool()

# 确保 similarity 张量在操作前是二维的，并且我们的目的是沿第二维度应用掩码
if similarity.dim() == 2 and similarity.shape[0] == 1:
    # 使用广播机制使掩码与 similarity 的第二维度对齐
    spec_reward = (similarity * mask.unsqueeze(0)).mean().clamp(min=0, max=1)
else:
    raise ValueError("Unexpected shape for similarity tensor.")