（12-4-2）TRPO算法优化实战：基于矩阵低秩分解的TRPO

12.4.6  创建Agent

在机器学习中，"agents" 通常指代代理(agent)。代理是指一种具有感知和决策能力的实体，它可以与环境互动，采取行动以实现某些目标或最大化某些奖励信号。代理通常是强化学习问题的核心，其中代理的任务是学习一个策略，以在给定环境中最大化累积奖励。

编写文件src/agents.py，功能是创建Agent代理，实现与代理(Agent)和强化学习相关的功能。此文件涵盖了代理的策略和值函数更新，以及用于 TRPO 算法的一些重要计算步骤。这些功能用于训练强化学习代理，以在与环境互动时学习优化策略和值函数。代理可以基于高斯策略进行动作选择，同时还支持在离散状态空间中工作。文件src/agents.py的具体实现流程。

（1）创建代理类GaussianAgent，用于构建具有高斯策略的强化学习代理。这个代理具有一个策略网络（actor）和一个值函数网络（critic），可以通过策略网络生成动作并通过值函数评估状态值。可以选择性地提供离散化器（discretizer_actor 和 discretizer_critic），用于在离散状态空间中工作。代理可以生成动作、评估策略的对数概率、评估状态值以及执行策略。具体实现代码如下所示。

from typing import Tuple, List, Union, Optional
from copy import deepco