基于强化学习的参数自整定及优化算法

在现代工业控制系统研究中，对控制性能指标进行优化是研究控制算法的首要任务之一。常见的工业控制系统一般具有非线性、含时滞、多变量等复杂特性，研究人员提出了模糊PID控制[1]、分数阶PID控制[2-3]、自抗扰控制[4-5]等算法，提升控制算法的性能。工程实践中，此类控制算法和控制器的参数整定及优化过程需要工程师大量的实践经验，或通过观察被控对象的响应逐步调整，或通过辨识模型推理计算。参数优化过程繁琐耗时、常有重复性工作。随着人工智能技术的发展，深度学习[6-7]、强化学习[8]等人工智能理论及技术被广泛应用于图像识别[9]、智能推荐[10]、机器人控制[11]等领域。由于控制理论的反馈概念与强化学习的奖励概念的相似性，为了增强控制算法性能、减少人工成本，许多学者也尝试在控制理论与控制工程领域引入强化学习[12-14]。但目前这类研究大多处于理论证明和仿真实验阶段[15]，少有工程实践的验证。

本文针对上述问题，首先提出了一种基于强化学习的控制参数优化算法，将参数整定问题近似为求解约束优化问题，通过结合强化学习的奖励、经验回放机制和控制系统的动态性能指标评价模块对控制器参数进行在线自整定及优化。然后，以水箱液位控制系统为实验对象，对上述算法进行实物对比测试。最后，设计了一种动态变参数PID控制算法，验证基于强化学习的参数自整定及优化算法的可行性、有效性和普适性。

1.   强化学习

作为一种重要的机器学习方法，强化学习(reinforcement learning, RL)采用了人类和动物学习中的“尝试与失败”机制，强调