（17-6-01）基于强化学习的自动驾驶系统：强化学习工具类+经验回放存储

在“reinforcement”目录中实现了多个程序文件，主要功能是定义了一系列强化学习算法的实现，涵盖了不同类型的动作空间（连续和离散）和算法（DDPG、SAC、PPO、DQN 等）。这些算法适用于各种强化学习任务，从而使研究人员和开发者能够在不同的场景中进行强化学习的实验和应用。

17.7.1  强化学习工具类

编写文件reinforcement/utils.py，功能是提供了一些在强化学习中常用的工具类和函数，这些工具类和函数通常在强化学习算法中用于控制智能体的行为和训练过程。具体实现代码如下所示。

import numpy as np
import torch

class OUNoise:
    def __init__(self, mu, sigma=0.4, theta=.6, dt=0.05, x0=None, noise_decay=0.0):
        self.theta = theta
        self.mu = mu
        self.sigma = sigma
        self.dt = dt
        self.x0 = x0
        se