康奈尔Nature论文：一种使用反向传播训练的深度物理神经网络

来源：专知
本文约1000字，建议阅读5分钟
康奈尔大学的研究人员介绍了一种混合原位-计算机算法。

深度学习加速器旨在高效地执行深度学习，通常针对推理阶段，并且通常通过利用传统电子设备之外的物理基板。迄今为止的方法一直无法应用反向传播算法来原位训练非常规的新型硬件。反向传播的优势使其成为事实上的大规模神经网络训练方法，因此这一缺陷构成了主要障碍。康奈尔大学的研究人员介绍了一种混合原位-计算机算法，称为物理感知训练，它应用反向传播来训练可控的物理系统。该研究以「Deep physical neural networks trained with backpropagation」为题，于 2022 年 1 月 26 日发布在《Nature》。

深度学习模型已成为科学和工程领域的普遍工具。然而，它们的能源需求现在越来越限制它们的可扩展性。深度学习加速器旨在高效地执行深度学习，通常针对推理阶段，并且通常通过利用传统电子设备之外的物理基板。迄今为止的方法一直无法应用反向传播算法来原位训练非常规的新型硬件。反向传播的优势使其成为事实上的大规模神经网络训练方法，因此这一缺陷构成了主要障碍。

在这里，康奈尔大学的研究人员介绍了一种混合原位-计算机算法，称为物理感知训练，它应用反向传播来训练可控的物理系统。

正如深度学习通过由数学函数层构成的深度神经网络，来实现计算那样，该方法允许研究人员训练由可控物理系统层构成的深度物理神经网络，即使物理层与传统人工神经网络层缺乏任何数学同构。

为了证明该方法的普遍性，研究人员训练了基于光学、力学和电子学的各种物理神经网络，以实验性地执行音频和图像分类任务。物理感知训练将反向传播的可扩展性与原位算法可实现的缺陷和噪声的自动缓解相结合。

物理神经网络具有比传统电子处理器更快、更节能地执行机器学习的潜力，更广泛地说，可以赋予物理系统自动设计的物理功能，例如机器人材料和智能传感器。

该研究以「Deep physical neural networks trained with backpropagation」为题，于 2022 年 1 月 26 日发布在《Nature》。

https://www.nature.com/articles/s41586-021-04223-6

图示：PNN 简介。（来源：论文）

参考链接：

https://mp.weixin.qq.com/s/3rMozAdOVMpGq7Qi_6mJ8A