训练物理（而非基于计算机的）人工神经网络的新方法

曹世木

于 2024-08-13 02:21:21 发布

阅读量29

点赞数

训练物理（而非基于计算机的）人工神经网络的新方法_反向传播

由光波构建的神经网络可以实现更加通用、可扩展且节能的人工智能系统。

欢迎来到雲闪世界。传统 AI 系统依赖于在计算机内部运行的深度人工神经网络，需要大量计算资源进行训练，这引发了人们对其可持续性的担忧。解决这一问题的一个有希望的途径是开发物理人工神经网络：通过使用物理方式使信息流动而不是在计算机模拟的神经元之间连接数值计算，这些系统比数字神经网络更接近地模仿生物神经网络的结构。例如，在称为“光学神经网络”的物理神经网络子类中，光波被发射并组合以执行各种计算。但这些物理系统面临着独特的挑战，尤其是在训练它们时。最近发表在《自然》杂志上的一项研究提出了一种真正具有突破性的解决方案，利用物理学来应对这些挑战。这是朝着可能的未来迈出的一步，未来 AI 系统将在物理系统上运行，因此变得更加易于管理、可扩展，最重要的是，训练成本降低了几个数量级。

“物理”与传统的“数字”或“基于计算机”的人工神经网络不同

常规（“基于计算机的”）人工神经网络在传统数字计算机上运行，这些计算机每秒处理数百万个相对简单的操作，并通过大型网络中连接的大量人工神经元将它们连接起来。这些网络由通过加权链接连接的多层人工神经元组成，通常还对神经元施加偏差。所有这些权重和偏差都只是存储在记忆单元中的数字；训练这些网络涉及调整这些权重以最大限度地减少网络预测中的错误。这个过程主要通过梯度下降算法进行，例如使用反向传播等方法，其中误差通过网络向后传播以有效更新权重。

另一方面，物理神经网络是使用本质上执行与数字神经网络相同操作的材料和系统构建的，只不过是在物理介质中。例如，与本文讨论的光学神经网络使用光波。另一个例子是纳米电子网络，其工作核心结合了电流。请注意，这些是模拟系统，而不是数字系统，就像计算机内部运行的常规神经网络的基础系统一样。

物理神经网络是一种比数字网络更节能的替代方案，因为它们可以并行执行计算，而且能耗更低。然而，它们也有一个重大缺点：它们无法自然地执行反向传播，因为它们的设计只允许数据向前流动，即从输入到输出。这意味着，通常，这些网络中的一个需要在计算机版本中进行训练，然后才能在预测模式下使用。

训练物理神经网络的挑战

物理神经网络的单向性意味着反向传播（用于训练传统数字神经网络的基本算法）毫无用处（因为其应用需要反向运行神经网络）。为了解决这一巨大限制，人工智能研究人员尝试了不同的方法。一种常见的解决方案是创建物理系统的数学模型并使用计算机对其进行反向传播，然后将获得的参数应用于物理系统，从那时起就可以以预测模式执行。

另一种方法是开发完全不需要反向传播的全新学习算法。然而，这些方法在达到传统神经网络的准确度方面往往存在不足，尤其是在复杂任务中。

下面解释的新方法利用光的一些关键物理特性打破了这一范式。

完全前向模式学习

中国清华大学薛等人的论文介绍了一种专门针对光学神经网络的新方法，光学神经网络是一种物理神经网络，利用光波传输信息，通过混合光束进行计算。这种适用于这些光学网络的新训练方法利用了电磁学中一种称为“洛伦兹互易”的原理，该原理确保光可以同样轻松地在两个方向上穿过光学系统。这种对称性使研究人员能够模拟反向传播的效果，而无需真正反转数据流的方向。相反，他们使用前向传播来调整网络的参数。

是的，硬核光物理学用于计算，更具体地说用于人工智能！

这种称为完全前向模式 (FFM) 学习的方法使光学神经网络的训练效果与传统的常规数字网络训练一样有效，但完全不需要标准反向传播：

正如《自然》杂志上的一篇论文所预期的那样，除了展示该方法有效的理论证明外，它还展示了该方法在各种设置中的强大功能，包括一些集成到硅芯片中的设置。通过这些设置，作者表明，经过 FFM 训练的光学网络可以处理一系列机器学习任务，从一般的分类问题到更专业的任务，其中一些任务实际上相当复杂。

启示与未来挑战

FFM 学习在光学神经网络中的成功为 AI 开辟了新的可能性。通过采用光学物理定律，这些系统可以发展成为比常规数字网络更节能的 AI 模型，并且可扩展性也更高。更高的速度可以彻底改变需要实时处理的应用程序，而更高的可扩展性可以实现更深层次和更广泛的 AI 模型，而能源效率不言而喻，尤其是在人们关注 AI 模型训练的生态足迹的世界中。

然而，并非一切都一帆风顺，在物理神经网络完全融入实际技术和产品之前，仍存在一些重大挑战。首先，这些物理系统需要嵌入到常规计算机系统中，而事实证明，这种结合光学和电子元件的混合系统目前还处于试验阶段，需要进行大量开发才能优化模拟（光学）和数字（电子）信号之间的转换。此外，还需要进行更多研究来确定这些物理系统在实际应用中的可扩展性和适应性究竟有多强。