基于深度强化学习的芯片布局（论文解读）

芯片设计中的强化学习应用：用“俄罗斯方块”解决电路连接难题

这段文字介绍了将强化学习应用于芯片设计的最新进展。芯片设计面临着一个关键问题：如何将大量的电子元件（例如：时钟、逻辑门、浮点运算单元等）有效地布局在芯片上，并用导线连接它们，以达到最佳性能。

问题描述：

• 芯片设计就像玩“俄罗斯方块”，需要将不同形状的元件（网表）放置在有限的芯片空间中。
• 网表包含元件之间的连接信息，可以表示成一个图。
• 目标是找到一种布局方案，使得元件排列紧凑，导线连接最短，从而实现最快的信号传输速度。

强化学习的应用：

• 强化学习算法可以学习到最佳的布局策略，将元件放置在合适的位置，并找到最短的导线连接路径。
• 通过不断地尝试不同的布局方案，并评估其性能（例如：密度、导线长度），强化学习算法可以逐渐优化方案，最终找到最佳的芯片设计方案。

关键点：

• 芯片设计是一个复杂的工程问题，涉及到多个领域，包括机器学习、芯片工程等。
• 强化学习提供了一种新的方法来解决芯片设计中的布局问题，有望提高芯片性能。
• 芯片设计中存在着多个目标，例如：密度、导线长度等，需要找到一个平衡点。

总而言之，这段文字介绍了将强化学习应用于芯片设计，以优化元件布局和导线连接，从而提高芯片性能的最新进展。

人工智能奇点已经到来！计算机正在设计新的计算机！人类专家需要数周时间才能设计出新的计算机芯片。看起来像大型俄罗斯方块的游戏实际上是一个非常复杂的优化问题。本文使用深度强化学习来解决这个问题，速度和效果都优于人类。https://arxiv.org/abs/2004.10746摘要：在这项工作中，我们提出了一种基于学习的芯片布局方法，这是芯片设计过程中最复杂和最耗时的阶段之一。与以往的方法不同，我们的方法能够从过去的经验中学习并随着时间的推移而改进。特别是，当我们在更多芯片块上进行训练时，我们的方法能够更快地生成针对以前未见过的芯片块的优化布局。为了实现这些结果，我们将布局定义为强化学习（RL）问题，并训练一个智能体将芯片网表中的节点放置到芯片画布上。为了使我们的 RL 策略能够泛化到看不见的块，我们将表示学习建立在预测布局质量的监督任务的基础上。通过设计能够准确预测各种网表及其布局的奖励的神经网络架构，我们能够生成输入网表的丰富特征嵌入。然后，我们将该架构用作我们策略和价值网络的编码器，以实现迁移学习。我们的目标是最大限度地减少 PPA（功耗、性能和面积），我们证明，在不到 6 个小时的时间内，我们的方法能够生成优于人类或与现代加速器网表相当的布局，而现有的基线方法需要人类专家的参与，并且需要几周的时间。