强化学习的stable_baselines3/common/torch_layers有哪些特征提取器？

强化学习的stable_baselines3/common/torch_layers有哪些特征提取器

BaseFeaturesExtractor()类

最基本的特征提取器，所有其他特征提取器的基类，继承自nn.Module。有两个属性：观察空间和特征维数；有两个方法：features_dim()方法输出特征维数，forward方法用于加工。

FlattenExtractor()类

继承自BaseFeaturesExtractor，有forward方法，所做的操作就是将observation展平，这样的话便于网络输入训练。

NatureCNN()类

继承自BaseFeaturesExtractor()类，主要是为图像准备的，通过CNN和FC提取特征。（中间通过一次不计算梯度的前向传播来记录CNN 输出的维数），一个针对于观测的小小的网络。

MlpExtractor()类

继承自BaseFeaturesExtractor()类，构建一个多层感知机网络，它接受观测作为输入，为策略和价值网络输出一个表示。主要是利用全连接网络来提取特征。

CombinedExtractor()类

继承自BaseFeatureExtractor()类，是针对字典类型的observation_space的特征提取器。主要做法是：为Dict observation space空间的每一个子空间分别采用不同的特征提取器进行特征提取，再将最后得到的向量进行拼接，可能还会再输入到额外的MLP特征提取器中进行特征提取。