Optimizing Quantum Circuits via ZX Diagrams using Reinforcement Learning and Graph Neural Networks

使用强化学习和图神经网络通过ZX图优化量子电路

摘要

量子计算目前受到噪声的严重影响，特别是双量子比特门带来的噪声。在噪声中等规模量子硬件上，减少双量子比特门数量至关重要。我们提出了基于ZX演算、图神经网络和强化学习的量子电路优化框架。通过结合强化学习与树搜索，我们的方法解决了选择最优ZX演算重写规则序列的挑战。我们的方法训练了直接在ZX图上操作的强化学习策略，能够发现任意优化规则，显著减少CNOT门数量。实验表明该方法与最先进电路优化器竞争力相当，并在大规模随机电路集上展现出良好的泛化能力。

I. 引言

量子计算当前主要受限于噪声影响，特别是双量子比特门操作。我们提出结合ZX演算、图神经网络和强化学习的优化框架，通过树搜索策略选择最优重写规则序列，突破人工设计启发式规则的限制。

II. ZX演算

A. ZX图表示基础

ZX演算使用Z蜘蛛和X蜘蛛作为基本元素，通过线连接形成张量网络。CNOT门可表示为Z蜘蛛和X蜘蛛的组合，任何量子电路都可以转化为ZX图表示。

B. 重写规则完备性

ZX演算的完备重写规则集能够将任意等效图相互转换。我们选择规则时权衡了规则完备性、动作空间大小和图结构变化复杂度。

III. 强化学习模型

A. 将ZX图优化表述为RL问题

将ZX图优化建模为马尔可夫决策过程(MDP)：

• 状态空间(S)：ZX图结构
• 动作空间(A)：ZX重写规则及其应用位置
• 奖励函数®：CNOT门数量减少程度

B. 基于RL的ZX重写训练与推理

使用图神经网络处理ZX图特征：

• 训练阶段：在随机生成电路集上优化策略
• 推理阶段：冻结策略进行电路优化
• 电路提取：将优化后的ZX图转换回量子电路

C. 基于树的搜索策略

维护搜索树实现回溯机制：

• 节点选择策略：基于图神经网络预测的权重分布
• 价值函数估计：评估节点优化潜力
• 奖励计算：基于最优电路CNOT门减少比例

IV. 实验

A. 实验设置

• GNN架构：4层GCN网络，宽度为规则数的16倍
• 训练参数：100万训练步，8并行环境，学习率3e-4
• 评估指标：CNOT门减少数量

B. 电路提取流程

分阶段提取策略：

1. 初级提取：最小预处理
2. 中高级提取：应用枢轴规则和局部补全规则
3. 完全优化：PyZX的full_reduce方法

C. 训练与验证数据集

• 数据集(i)：5量子比特电路，CNOT/H/Rx/Rz比例为6:2:1:1
• 数据集(ii)：纯CNOT门电路
• 数据集(iii)：均衡门比例电路

D. 实验结果分析

在训练集上：

• RL方法平均CNOT门27.3个，优于PyZX full_reduce的31.8个
• 电路提取器不同等级表现验证优化有效性

在验证集上：

• 纯CNOT电路优化接近暴力搜索最优解
• 均衡门比例电路优化效果显著

E. 大规模电路的窥孔优化

50量子比特/2000门电路优化：

• 使用MLP替代GNN提升计算效率
• 组合随机子电路生成结构化大电路
• 优化效果显著优于Qiskit和PyZX

V. 未来工作

1. 扩展完整ZX规则集
2. 提升图神经网络泛化能力
3. 开发大规模量子电路基准测试集
4. 探索T门数量优化等新目标