MacroRank: Ranking Macro Placement Solutions Leveraging Translation Equivariancy

MacroRank: Ranking Macro Placement Solutions Leveraging Translation Equivariancy
ASPDAC ’23, January 16–19, 2023, Tokyo, Japan
© 2023 Association for Computing Machinery.
https://doi.org/10.1145/3566097.3567899

总结与思考

出发点是，当旋转或者翻转坐标轴的时候，发现会影响得到的所谓最优解的质量，这是因为布局的过程中严重依赖空间的相对位置（在电路中使用GNN，在2维平面上具有强烈的空间特征）。所以可以通过在不同的坐标系下来训练从而提高解的质量和通用性。同时以往的模型往往得到次优解的原因是它们总是根据一个目标来进行优化，如线长，短路或者违规。为了在所有的候选宏布局方案中挑选出一个全局最优的方案，作者提出了用神经网络来预测当前宏布局的得分，并通过排序学习来不断优化得分的准确性，从而达到优中选优的目的。

这个工作还是比较有意思的，它不去优化布局了，而是去现有的布局方案中挑选一个总体最优的。之前看布局布线中具有多个优化指标的时候就在想有没有可能用多目标优化来做，其实这篇文章的思路更新奇一些。而且它通过旋转布局来发现会影响实验结果，然后通过多种坐标系来训练这个切入点也是第一次看到。想法是：也许可以将它的这种评价的方法作为下游拼接到宏布局优化算法中，因为这个工作它是选了候选的宏布局方案，那我们也许可以把这个指标作为优化宏布局方案的指标（同时包含了线长、短路、违规等，就不是单一的目标优化了）。

摘要

现代大规模设计广泛使用异构宏，这会显著影响可布线性。在早期宏布局阶段预测最终布线质量可以过滤掉差的解决方案并加速设计闭合。通过观察路由与元器件之间的相对位置之间的关系，提出了一种利用平移等方差和学习排序技术的宏布局排序框架–MacroRank。 该框架能够学习宏布局解决方案的相对顺序，并基于布线质量指标（如线长、通孔数量和短路数量）对它们进行排序。 实验结果表明，与最新基线相比，该框架的Kendall秩相关系数提高了49.5%，对线路长度、通孔和短路的前30位预测的平均性能分别提高了8.1%、2.3%和10.6%。

一、INTRODUCTION

宏位置对布线性能有很大影响。现今的集成电路（IC）可以由数百万个标准单元和数百个宏组成。宏是来自内存模块或第三方IP的预先设计的异构块。由于宏可以比具有数百个用于互连的引脚的标准单元大数十倍或数百倍，因此宏的位置可以显著地影响布局质量，尤其是可布线性。如图1所示，典型的设计流程需要在宏布局、标准单元布局和布线之间迭代，以优化可布线性，从而减缓设计迭代[1-7]。为了加速设计的完成，在宏布局阶段对布线性能的早期预测一直是高需求的。

对于可布线性预测的现有研究主要在单元布局阶段利用宏和单元的已知位置来执行。这些工作中的大多数采用卷积神经网络（CNNs）的变体来捕获布局的几何分布与可布线性度量之间的相关性，如线长、布线需求和设计规则违反[8-10]。

宏布局阶段的布线性能预测比单元布局阶段的布线性能预测困难得多，因为宏布局阶段仅知道电路网表和宏位置。先前的尝试[11]揭示了仅捕获宏布局的几何分布来用CNN构建回归模型不足以学习与布线性能的相关性。为了从电路网表中提取互连信息，Mirhoseini等人[12]和Wang等人[13]将图形神经网络（GNN）集成到强化学习（RL）框架中，以优化宏的位置。由于他们的模型没有考虑宏布局的特定领域特性，如引脚偏移和网表中位置信息的稀疏性，他们的框架需要调用单元布局和布线数百次，以找到质量可接受的解决方案，这需要花费数小时甚至数天。
为了在宏布局阶段实现精确的布线性能预测，本文提出了一种宏布局排序框架–MacroRank，该框架利用了平移等变超图神经网络（EHNN）和学习排序（LTR）技术。EHNN可以同时捕获宏布局的互连线和几何信息，LTR技术考虑了解质量的相对关系。我们的模型考虑了宏布局的特定属性，如引脚偏移和网表中位置信息的稀疏性。主要贡献概述如下：

• 提出了利用平移等方差和学习排序技术的宏排名，可以排名宏布局解决方案的基础上，他们的布线质量。
• 提出了一种平移等变神经网络EHNN，它能很好地适应宏布局阶段提取网表和宏位置信息的任务。
• 提出了一种学习排序技术来学习宏布局解决方案的相对顺序，从而准确地预测广泛使用的布线度量的前30个解决方案，例如线长、通孔数量和短路数量。
• ISPD2015基准测试的实验结果表明，与最新的基于神经网络的模型[11]相比，我们的框架可以将Kendall秩相关系数提高49.5%，并且对导线长度、通孔和短路的前30位预测的平均性能分别提高8.1%、2.3%和10.6%。

二、PRELIMINARIES

2.1 宏布局和可布线性

宏与标准单元的不同之处在于，宏充当大的布线障碍并且在外围中要求更多的保留布线空间。因此，宏布局本质上影响可布线性。在实践中，宏通常是手动预放置，然后具有固定宏位置的网表被馈送到标准单元布局。宏布局的目标是在给定一系列标准单元和可移动宏的情况下，优化宏的位置以获得更好的布线效果。
因此，可布线性的早期估计已经引起了研究界的广泛关注。可布线性预测旨在通过基于宏布局阶段的信息预测设计的布线性能来指导宏布局。准确地说，任务是找到一个模型，能够估计布线性能的大规模VLSI设计。我们在本工作中采用了ICCAD 2019年路由竞赛中的三个路由度量[14]，即：网络的总线长（简称为线长）、总通孔数（简称为通孔）以及导致设计规则违反的网络数（简称为短路）。

2.2 问题表述

在这项工作中，我们的目标是根据布线指标对宏布局方案进行排序，而不是关心指标的绝对值。因此，该问题被定义为学习排名函数
𝑓（·），该排名函数将网表𝑁和宏布局解决方案𝑥作为输入，并生成分数𝑠作为输出，使得
$f(N,x_i)>f(N,x_j)⟷y_i>y_j(1)$
其中$x_i,x_j$是两种不同的解决方案，$y_i$ 和 $y_j$是真实的路由性能指标，如线长。
我们的目标是：
$\max {\sum }_{i,j}\mathrm{sign}(f(N,x_i)-f(N,x_j))\mathrm{sign}(y_i-y_j).(2)$
可以通过如下定义的Kendall等级相关系数来评估准确度:

Definition 1:（肯德尔等级相关系数（肯德尔𝜏））。设𝑥和𝑦为模型预测值和真实数据标签。(i,j)是协调对，满足$x_1>x_j\cap y_i>y_j$或者$x_i<x_j\cap y_i<y_j$，否则它就是不和谐的，假设存在𝑛预测值和𝑛真实数据标签，设为$n_p$一致对的数量，$n_i$为不一致的数量。那么肯德尔𝜏的定义是：
$\tau =\frac{n_p-n_i}{\frac{1}{2}n(n-1)}(3)$
越高𝜏，预测性能越好。

2.3 等方差（Equivariance）

在电路上应用GNN不同于传统的图形学习任务，因为在2D布局上的放置具有强烈的空间特性，最终布线结果显著地依赖于标准单元和宏之间的相对空间位置。如图2所示，假设布线资源在版图上是同质的，在整个版图（包括实例、线和边界）上的平移和旋转等刚性变换将不会影响布局和布线的最优解，这可以用E(2)-equivariance来表征。
然而，在实际应用中，由于问题的NP难度，布局和布线算法只能找到次优解，因此可能失去等方差性。我们研究了开源布局布线工具（DREAMPlace [15]和CU.GR [16]）的平移和旋转等变性，方法是将布局平移（0.5，0）×、（0，0.5）×、（0.5，0.5）×、（1，1）×管芯尺寸，旋转180 °，并沿着x轴或y轴翻转。我们观察到平移等变性可以很好地保持，而旋转等变性可能不能。图3（a）表明，不同平移引起的线长、通孔和短路的标准偏差分别小于0.5%、0.3%和3.7%，但旋转和翻转对结果有非常显著的影响，如图3（b）所示。

注意，我们实际上并不平移或旋转布局，也不需要布局和布线算法来保持严格的等变性。目标是通过约束在不同坐标系下的训练来改进由GNN模型学习的布局表示以获得更好的通用性。考虑到以上的观察，我们开发了EHNN来更好地捕获变换不变知识，并将我们的模型推广到翻译等变输入。如果布局和布线算法也保持旋转等方差性，则可以很容易地修改它以支持旋转/翻转等方差性。

2.4 排名学习(Learning to rank)

在宏观布局阶段, 我们希望在每个设计的可能候选方案中选择布线性能最佳的宏布局解决方案。为了选择最好的一个方案，它们之间的相对关系是值得注意的，而不是每个候选方案的绝对值。因此，对于这个问题，需要一个排序模型，而不是回归模型。排名学习是机器学习的一个应用，旨在构建一个排名模型，以在项目列表中建立二元关系。它最初是在信息检索中提出的，用于查找与查询最接近的候选项。在我们的任务中，每个设计都是一个查询，宏布局解决方案是候选方案。一种著名的LTR方法被称为成对方法，其将排序问题近似为二进制分类问题，目的是区分所选对中哪个候选项更好。

配对方法通常使用评分函数𝑓（·）实现，该函数将单个候选项𝑋𝑖作为输入和输出预测得分$s_i=f（X_i）$。例如，经典的成对方法RankNet [17]采用概率模型，并且将具有比$X_2$更高质量的候选$X_1$的估计概率定义为:
Prob ⁡ ( X 1 > X 2 ) = 1 1 + exp ⁡ { f ( X 2 ) − f ( X 1 ) } . ( 4 ) \operatorname{Prob}(X_1>X_2)=\dfrac{1}{1+\exp\{f(X_2)-f(X_1)\}}.\quad\quad(4) Prob(X1​>X2​)=1+exp{f(X2​)−f(X1​)}1​.(4)
然后，可以使用为分类任务设计的许多损失函数，如交叉熵。

三、ALGORITHM

3.1 Overview

在数据准备阶段，我们首先对网表中的单元进行聚类，然后将其转化为一个正态图并提取初始节点特征。
我们的EHNN架构（如图4所示）由三个瓶颈组成：（1）超图卷积层（HGCL），（2）等变图卷积层（EGCL），以及（3）多层感知器（MLP）。
网络的输入是作为关联矩阵的变换网表、节点特征、管脚特征和作为坐标嵌入的宏位置。HGCL将网表、节点特征和引脚特征作为输入，从而提供转换后的节点特征和引脚特征。然后，EGCL以宏特征和坐标嵌入为输入，生成变换后的宏特征和坐标嵌入。最后，将EGCL生成的宏特征输入到MLP中进行目标预测。为了进一步提高预测性能，我们提出了一种加权成对LTR损失来训练EHNN。在接下来的几节中，我们将深入了解详细信息。

3.2 Netlist Clustering

在大多数设计中，宏的数量远少于单元（见表1），这给提取有用信息带来了许多困难。为了使GNN模型更容易学习宏相关信息，并减少运行时间和内存使用，我们在不改变宏的情况下对网表中的单元进行聚类。这可以通过在hMETIS [19]中将宏的权重设置为0并将生成的分区应用于单元来实现。假设在同一簇中的标准单元的形状是（$w_1$，$h_1$），…，（$w_n$，$h_n$），并且目标单元密度约束为𝛾（在布局时给定），则聚类的形状被设置为：
$(w_c,h_c)=\left(\frac{{\sum }_{i=1}^n{w}_i}{{\sum }_{i=1}^n{h}_i}\sqrt{\frac{{\sum }_{i=1}^n{w}_i{h}_i}{\gamma }},\frac{{\sum }_{i=1}^n{h}_i}{{\sum }_{i=1}^n{w}_i}\sqrt{\frac{{\sum }_{i=1}^n{w}_i{h}_i}{\gamma }}\right).(5)$

由于单元即使在群集之后也比宏小得多，所以单元的引脚偏移不如宏的引脚偏移重要。因此，我们简单地将引脚设置在簇的中心。

3.3 Initial Node Features

在图学习过程之前，我们确定了每个节点$v_i\in V$的初始特征向量,基于其可布线性相关属性和宏在布局上的位置。实例尺寸和引脚偏移量被用来估计布线资源需求，并且我们采用这些特征的原因是现代布局者通常在他们的布线拥塞估计器中考虑这些特征。因此，实例的初始特征由实例大小和度数组成，而引脚的初始特征是引脚偏移。除了路由要求属性之外，我们将宏位置作为特征，并且我们还装备我们的网络以从空间特征中提取刚性变换不变性知识（参见3.5节）。同时，我们将芯片尺寸缩放到（1，1）以规范化不同的设计。

3.4 Netlist Representation Learning

如上所述，VLSI网表最初被表示为具有单源多汇点边（网）的有向超图。通常在布局阶段忽略了边的方向性，但简化的无向超图仍然不适用于现有的图知识挖掘算法。因此，近年来，寻找合适的图模型将网表从超图转换为两针边图引起了研究界的极大关注[20]。
在我们的任务中，宏单元比单元大得多，宏单元的管脚偏移比单元的管脚偏移更受关注。因此，实例（单元和宏）、管脚和网络都被建模为图中的节点。同时，实例与管脚之间的关系被建模为从宏到管脚的有向边。类似地，管脚和网络之间的关系也被建模为从管脚到网络的有向边。实例之间的消息传递过程由两个阶段组成，前向阶段和后向阶段。前向阶段将消息从实例传递到管脚，然后传递到网络，后向阶段则相反。示例如图5所示。

3.5 Translation Equivariant Graph Embedding

因此，我们希望明确地模型化宏之间的宏位置关系，并通过超图神经网络来考虑网表。但是直接将位置信息作为超图神经网络的输入特征不是一个好的方法，因为单元位置信息和等方差性会丢失（如2.3节所述）。因此，我们使用HGCL捕获网表信息，使用EGCL [18]捕获位置信息。
EGCL [18]已被证明是E(n)-equivariant的。它以节点嵌入𝒉𝑖、坐标嵌入𝒙𝑖和边缘信息e𝑖𝑗为输入，输出变换𝒉𝑖𝒙𝑖。
定义该层的方程具有以下形式:
${\mathbf{m}}_{ij}={\varphi }_e\left({\mathbf{h}}_i^{(l)},{\mathbf{h}}_j^{(l)},\Vert x_i^{(l)}-{\mathbf{x}}_j^{(l)}\Vert \right)(6\mathrm{a})$
${\mathbf{m}}_i=\sum _{j\in N(i)}{\mathbf{m}}_{ij}(6\mathrm{b})$
${\mathbf{h}}_i^{(l+1)}={\varphi }_h\left({\mathbf{h}}^{(l)},{\mathbf{m}}_i\right)(6\mathrm{c})$
${\mathbf{x}}_i^{(l+1)}={\mathbf{x}}_i^{(l)}+{\sum }_{j\ne i}({\mathbf{x}}_i^{(l)}-{\mathbf{x}}_j^{(l)}){\varphi }_x({\hat{\mathbf{m}}}_{ij})(6\mathrm{d})$
其中，N（𝑖）表示节点$i$的邻居，𝜙𝑒、𝜙h、𝜙𝑥、是非线性映射，并且$m_{ij}$是从节点$i$传递到节点$j$的消息。
如第2.3节所述，布局/布线求解器中可能只有平移等方差。因此，我们将方程（6a）中的$\Vert {\mathbf{x}}_i^{(l)}-{\mathbf{x}}_j^{(l)}\Vert$替换成位置编码$PE({\mathbf{x}}_i^{(l)},{\mathbf{x}}_j^{(l)})=(d,(x^{(l)}\stackrel{.}{i}-x_j^{(l)})/d,(y_i^{(l)}-y_j^{(l)})/d)$, 其中$d$表示$\Vert {\mathbf{x}}_i^{(l)}-{\stackrel{\cdot }{x}}_j^{(l)}\Vert$并且${\mathbf{x}}_i^{(l)}=(x_i^{(l)},y_i^{(l)})$

与EGCL不同，受NeRF [22]启发，我们进一步提出了傅立叶编码：
$FE(d)=(\sin \pi d,\sin 2\pi d+\pi /2,...,\sin 2^i\pi d+\frac{\pi (i\mathrm{mod}2)}{2}).(7)$
该函数可以将连续输入映射到更高维的空间，使我们的模型更容易逼近更高频率的函数。则最终位置编码为
$PE=(FE(d),(x_i^{(l)}-x_j^{(l)})/d,(y_i^{(l)}-y_j^{(l)})/d).(8)$

由于EGCL的其他部分保持E(2)-equivariance，且位置编码保持平移等方差性，因此EGCL具有平移等方差性。注意HGCL具有明显的平移等价性，可以保证整个网络的平移等变。
我们的输入数据只包含宏的位置信息，宏只占整个图中节点的很小一部分。因此，如果直接将整个图放入EGCL，图中会有大量数据缺失，这是很难克服的。
为了考虑任意两个宏之间的相对位置关系，我们把所有宏之间的关系看作一个完全图。注意，如果宏的数量太大而不能构建完整的图，我们只能将K个最近的宏连接到每个宏。同时，由于单元的位置信息是未知的，因此在输入图中仅包括宏节点。上游超图神经网络提取的宏位置和宏特征作为下游EGCL的输入坐标嵌入和节点嵌入。

3.6 Pairwise Rank Loss

我们使用EHNN模型作为2.4节中提到的评分函数。在训练阶段，数据集按设计进行分区。在每次迭代中，相同设计的一对不同的解<𝑥𝑖，𝑥𝑗>输入模型，并得到一对得分𝑠𝑖=𝑓（𝑥𝑖），𝑠𝑗=𝑓（𝑥𝑗）。设$x_i>x_j$表示着真实标签中<$y_i,y_j$>在<$x_i，y_j$>中满足$y_i>y_j$。在RankNet中，该模型预测了$x_i$和$x_j$的概率为：
P ( x i > x j ) = Sigmod ⁡ ( s i − s j ) = 1 1 + exp ⁡ { − ( s i − s j ) } . ( 9 ) P(x_i>x_j)=\operatorname{Sigmod}(s_i-s_j)=\dfrac{1}{1+\exp\{-(s_i-s_j)\}}.\quad(9) P(xi​>xj​)=Sigmod(si​−sj​)=1+exp{−(si​−sj​)}1​.(9)
然后，可以使用二元交叉熵函数作为损失函数。LambdaRank [23]使用加权交叉熵损失，
L i j = log ⁡ { 1 + exp ⁡ { − ( s i − s j ) } ∣ Δ Z i j ∣ , ( 10 ) L_{ij}=\log\{1+\exp\{-(s_i-s_j)\}|\Delta Z_{ij}|,\quad\quad(10) Lij​=log{1+exp{−(si​−sj​)}∣ΔZij​∣,(10)
其中$\Delta Z_{ij}$是由交换样本的秩引起的期望度量的差𝑖𝑗。不同于LambdaRank中使用的DCG评分对标签的全局偏差敏感，我们的工作采用softmax函数作为度量，即
$\Delta Z_{ij}=\frac{\exp (y_i)}{{\sum }_{p=1}^n\exp (y_p)}-\frac{\exp (y_j)}{{\sum }_{p=1}^n\exp (y_p)}.(11)$
设𝐷为所有设计的集合，𝑑∈𝐷为相应设计的解的集合。最终损失函数为
$Loss=\sum _{d\in D}\sum _{i\in d}\sum _{y_i>y_j,j\in d}{L}_{ij}.(12)$

四、EXPERIMENTAL RESULTS

4.1 Experimental Settings

4.1.1 dataset

从包含宏的ISPD 2015基准[24]中选择12个电路来生成训练数据和测试数据。这些电路的统计数据见表1。固定的宏被释放为可移动的，并通过开源放置器DREAMPlace [15]与单元放置在一起。在收敛之后，我们在宏合法化阶段中扰动宏以针对具有不同宏位置的每个电路生成大约300个布局。然后重新启动贴片机完成单元贴片。布局结果由开源全局布线器CU.GR [16]进行布线，以获得全局布线度量（线长、通孔和短路）作为标签。我们使用hMETIS [19]对网表中的单元进行聚类，以减少训练和运行时间。为了验证模型的泛化性能，将数据集中的电路分为2组，每组包含6个设计。当组1用于训练时，组2用于测试，反之亦然。

4.1.2 Configuration

使用Pytorch Geometric [25]实现预测模型。CNN基线基于Pytorch提出的预训练VGG11 [26]，分类器部分由MLP回归器取代，并使用[11]中提出的方法进行微调。GNN基线由3个HGCL组成，隐藏维数为16，坐标用作输入实例特征。EHNN模型的隐维数为16，HGCL和EGCL的层数分别为2和4。MacroRank使用与EHNN相同的模型，但使用成对秩损失进行训练，而其他3个模型使用平均绝对误差（MAE）损失进行训练。这些模型都是由Adam优化器训练的，学习率为10−3。。每个模型的训练过程持续400次。请注意，尽管MacroRank需要在每次迭代中对配对数据进行采样，但一个时期中的迭代次数设置为与其他模型中的相同。我们在最后一个训练时期之后评估每个模型。CNN、GNN、EHNN和MacroRank的训练时间分别为1h、2.2h、4.5h和6.6h。我们的代码可在https://github.com/PKU-IDEA/MacroRank。

4.2 Performance and Comparison

4.2.1 Comparison ofRelative Error and Correlation Coefficients.

我们在两个组上测试CNN、GNN、EHNN和MacroRank，其中MacroRank表示用成对秩损失训练的EHNN。实验结果列于表2和表3中。
相对误差和相关系数的比较。由于MacroRank不能直接预测真实标签，因此我们仅分析基于MRE的三种回归模型（CNN、GNN和EHNN）之间的差异。首先，GNN在三种模型中表现最差，这表明简单地将坐标作为GNN的输入节点特征并不是一种好的方法。相反，EHNN在所有组中均优于GNN，并且在除第一组线长预测之外的几乎所有组中均优于CNN [11]。这证实了利用GNN模型中的等方差来建模位置信息的有效性。此外，EHNN与CNN [11]的对比也表明，引入互连信息可以更好地帮助模型对宏布局解的质量做出预测。
虽然EHNN具有较低的MRE，但它在Kendall’s指标𝜏上的表现相当差。这主要是因为我们在2.4节中讨论过，使用MAE或MSE等回归损失不能直接反映相对顺序预测的质量。图6显示了真实的线长和不同模型预测的线长之间的关系，这也证实了我们的结论。MacroRank在所有组中均达到最佳Kendall’s𝜏，更准确地说，比CNN高出49.5% [11]。MacroRank输出的可视化结果如图6所示，它表明MacroRank的输出分数与真实标签具有更好的正相关性。

4.2.2 Comparison of Top-30 prediction.

Top-30预测比较。最后，我们通过对每个模型在测试集（每个设计约300个样本，见表1）的每个设计上选择的前30个解决方案的真实的布线性能指标（线长、过孔和短路）求平均值，来估计这些模型选择的前30个解决方案的QoR。选择测试集中所有样本的平均值作为基线（平均值见表3）。结果表3所示。MacroRank优于所有其他模型和改进时,通过,和短裤了8.1%,2.3%,和10.6%的CNN[11], 15.3%, 1.6%,和53.8% GNN [27], EHNN 10.0%, 2.3%, 36.7%。比较表明,我们的模型是可行的,可以有效地指导用户选择好解决方案可能的候选方案。

五、CONCLUSION

在这篇文章中，我们提出了利用平移等方差的宏排序和一种学习排序技术，可以根据布线质量对宏布局方案进行排序。所提出的模型能够在宏布局的早期阶段准确预测宏布局方案质量的相对顺序，从而指导我们的宏布局过程。在ISPD 2015基准测试上的实验结果表明，与最新的基于神经网络的模型[11]相比，该框架的Kendall秩相关系数提高了49.5%，平均性能提高了10%。