强化学习：使用SubprocVecEnv进行多环境采样

在使用SubprocVecEnv进行多环境采样时，发现gpu内存被快速占用，但环境本身不需要使用gpu，因此需要确保输入环境的参数在CPU上

1. 自动数据转移

在使用VecEnv的情况下，某些深度学习框架可能会在内部自动将数据（如观察结果）转移到GPU，尤其是当模型或部分计算已经被放置在GPU上时。这种自动转移可能发生在数据批处理或预处理阶段，导致GPU内存使用上升。

2. 批量数据处理

VecEnv能够批量处理多个环境的观察、动作和奖励，这意味着在与环境交互时会处理更大的数据量。如果这些批量数据或相关计算被送往GPU，即使单个操作不占用太多GPU资源，整体上也可能导致显著的内存使用增加。

3. 模型推理

如果你的强化学习算法在每个时间步中使用深度学习模型来决定动作（如策略网络），并且这个模型或其部分操作位于GPU上，那么在VecEnv环境中进行批量推理可能会导致GPU使用量急剧增加。这是因为同时对多个环境状态进行模型推理，相比单个环境，会处理更多的数据。