论文解析 | Magnetic control of tokamak plasmas through deep reinforcement learning (2022)
导读
论文提出了 "人工智能研究如何造福人类 "的问题。使用人工智能来实现安全、可靠和可扩展的聚变能源部署,可以为解决气候变化的压力问题做出贡献。这是人工智能技术在工程方面的一个极其有趣的应用。
1 引言
使用磁约束的核聚变,特别是在托卡马克配置中,是实现可持续能源的一个有希望的途径。一个核心挑战是如何在托卡马克血管内塑造和维持一个高温等离子体,这需要使用磁执行器线圈进行高维、高频、闭环控制。在这项工作中,我们为托卡马克磁性控制器设计引入了一个以前没有描述过的架构,它可以自主地学习指挥全套控制线圈。这个架构满足了在高层次上指定的控制目标,同时满足了物理和操作约束。
托卡马克是用于核聚变研究的环形装置,是产生可持续电力的主要候选者。限制托卡马克内的每个配置需要设计一个反馈控制器,该控制器可以通过精确控制与等离子体磁耦合的几个线圈来操纵磁场,以实现所需的等离子体电流、位置和形状,这个问题被称为托卡马克磁控制问题。通过使用强化学习(RL)来生成非线性反馈控制器,使一种全新的控制器设计方法成为可能。
在这项工作中,我们提出了一个RL设计的磁性控制器,并通过实验验证了它在托卡马克上的性能。控制策略是通过与托卡马克模拟器的互动来学习的,并被证明能够直接在硬件上进行托卡马克磁控制,成功地弥补了 "模拟与现实 "的差距。这使得从工程驱动的预设计状态的控制到人工智能驱动的操作者指定的目标优化有了根本的转变。
2 学习控制和训练架构
我们的架构,是一种设计托卡马克磁约束控制器的灵活方法。该方法有三个主要阶段。首先&#