wangyifan123456zz的博客

函数近似方法有模型数值迭代算法、回合更新算法和时序差分更新算法，在每次更新价值函数时都只更新某个状态（或状态动作对）下的价值估计。但是，在有些任务中，状态和动作的数目非常大，甚至可能是无穷大，这时，不可能对所有的状态（或状态动作对）逐一进行更新。函数近似方法用参数化的模型来近似整个状态价值函数（或动作价值函数），并在每次学习时更新整个函数。这样，那些没有被访问过的状态（或状态动作对）的价值估计也能得到更新。本章将介绍函数近似方法的一般理论，包括策略评估和最优策略求解的一般理论。再介绍两种最常见的近似函数：

摘要针对一组自主水下机器人的分布式编队控制，提出了一种自适应自组织映射神经网络方法。当编队整体移动时，这种方法控制水下机器人在编队中保持它们的位置。该组水下机器人可以沿着预先规划的轨迹以预期的编队形状到达期望的位置。所提出的控制律是分布式的，即每个水下机器人的控制器只使用自己的信息和相邻水下机器人的有限信息。基于自组织竞争计算的编队控制策略是在考虑工作负荷平衡的情况下进行的，这样一组水下机器人可以在工作负荷平衡和能量充足的前提下到达期望的位置。而且队形可以避开障碍物，根据需要改变形状。编队是一个分布式的类

[论文]基于强化学习的控制输入非线性水下机器人自适应神经网络控制摘要本文研究了在水平面内运动的全驱动自主水下机器人的轨迹跟踪问题。在我们的控制设计中考虑了外部干扰、控制输入非线性和模型不确定性。基于离散时间域的动力学模型，两个神经网络(包括一个临界神经网络和一个作用神经网络)被集成到我们的自适应控制设计中。引入临界神经网络来评价设计的控制器在当前时间步长内的长期性能，并利用作用神经网络来补偿未知动态。为了消除水下机器人控制输入的非线性，自适应控制中还设计了补偿项。通过严格的理论分析，证明了该控制律的稳定