NTT Research科学家为解决机器学习耗电问题提供新解决方案

（图片来源：网络）

 

近日，日本NTT的子公司NTT Research和康奈尔大学联合宣布，双方科学家联合研发出了一种算法，该算法将深度神经网络训练应用于可控物理系统，并在三种非常规硬件上进行了展示。该团队在《Nature》杂志上发表了一篇题为《用反向传播训练的深度物理神经网络》的论文，详细阐释了他们的研究发现。

 

该论文的主要作者有Logan Wright和Tatsuhiro Onodera。两人都是NTT Research Physics and Informatics（PHI）实验室的研究科学家以及在康奈尔大学应用与工程物理学院实验室访问的NTT Research科学家。该项目的负责人、康奈尔大学应用与工程物理学助理教授Peter McMahon（彼得·麦克马洪）是本文的另外五位合著者之一，根据该论文描述，他们提供了一种不受现有能源控制和其他可扩展性条件限制的深度学习方法。

 

物理神经网络算法是“捷径”

我们知道，深度学习是一种具有多层互连节点的神经网络，也是人工智能的一个子集，现已普遍存在于科学工程中。为了训练深度学习执行一些数学功能，例如图像识别，用户们通常采用一种称为反向传播（“误差反向传播法”的缩写）的训练方法。截至目前，该训练算法已通过数字电子设备实现。但随着现有深度学习模型的计算需求激增以及摩尔定律的失效，科学家们正试图提高深度神经网络的计算效率和速度。

 

Logan Wright博士表示：“反向传播算法是指一系列数学运算，它本质上没有什么数字化组成部分，仅仅是碰巧在数字电子硬件上运行。我们所做的是找到一种方法来获取这个数学训练秘诀，并将其转化为物理训练。”

 

该团队将经过训练的系统命名为物理神经网络（PNN），着重强调了该方法是直接训练物理系统，而不是像传统路线那样，先训练数学函数然后再设计物理过程来执行。Logan Wright博士讲道，“这种直接训练物理系统的‘捷径’，有助于PNN通过学习物理算法（能够自动使用物理计算的能力），能更容易地从非常规但具有强大潜力的物理基底（如非线性光子学）中提取计算性能。”

 

在该论文中，作者将这种新算法命名为物理感知训练（PAT），并将新的算法应用到了几个可控物理系统。其中一个实验具体过程为：将简单的声音（如元音）和各种参数编码到激光脉冲的频谱中，以构建一个深度PNN，并通过将光学变换的输出作为后续的输入来“分层”进行PAT训练。实验结果表明，该光学系统以93%的准确率完成了对元音进行测试分类的任务。

物理感知训练的三套系统验证

为了证明该方法的普适性，研究人员们又训练了三套物理应用系统用以执行更复杂的图像分类任务。他们再次使用了光学系统，不过展示的是混合（数字物理类）PNN。此外，他们还设置了机械电子类PNN进行测试。基于光学、电子和机械技术训练的PNN，执行任务的准确度分别达到了97%、93%和87%。考虑到这些系统的简单性，作者认为这些结果有价值。

 

实验内容（图片来源：该论文）

该研究小组预测，通过使用与传统数字电子产品截然不同的物理系统，机器学习能够更快、更节能地执行训练任务。或者，将这些PNN作为功能性机器学习用以处理普通数字之外的数据，助力其在机器人技术、智能传感器、纳米粒子等领域中发挥潜在用途。

 

NTT Research PHI实验室主任Yoshihisa Yamamoto表示：“这篇文章给出了一个解决机器学习耗电问题的强大的解决方案。Wright、Onodera等同事的研究通过将物理系统和反向传播相结合，从理论上证明了该方法的有效性，并且适用于一系列有趣场景。未来，进一步探索哪些物理系统最适合执行机器学习计算将是一项令人兴奋的任务。”

 

该论文是两个实验室的目标研究成果之一。NTT Research PHI实验室的使命是“从神经网络中的关键现象原理重新思考计算机”，目前该实验室的一大重点是制备相干伊辛机（Coherent Ising Machine，CIM），一种采用光量子的耗散式架构的量子计算机。与超导、离子阱等使用逻辑门计算架构的其他技术路线相比，CIM采用量子失谐而不是量子纠缠作为计算资源，更加类似于人脑神经突触的工作模式，天然更适合于形成超大规模的量子神经网络，对环境噪声和错误有很强的抵抗力。

 

与此同时，康奈尔大学McMahon教授实验室正与NTT Research PHI实验室合作开展CIM研究，致力于解决“如何设计新式物理系统执行计算”的问题。

 

该论文的其他四位合著者中，Martin M. Stein博士、Mong博士后研究员王天宇，都是McMahon实验室的成员，而Zoey Hu和Darren Schachter是作为康奈尔大学的本科生在2020-2021年参与该研究，Zoey Hu还曾于2021年夏天在NTT Research实习。

 

除康奈尔大学外，NTT Research PHI实验室还与九所大学达成了联合研究。其中包括加州理工大学、哈佛大学、麻省理工学院、圣母大学、斯坦福大学、斯威本科技大学、东京工业大学、密歇根大学和东京大学。位于硅谷的美国宇航局艾姆斯研究中心和私人量子计算软件公司1QBit也与NTT Research PHI实验室签订了联合研究协议。

 

关于NTT Research

 

NTT Research隶属于 NTT集团，成立于2019年7月，是一家全球技术和商业解决方案提供商，每年的研发预算达 36 亿美元。作为一家硅谷科创公司，NTT Research致力于开展基础研究和推进人类社会积极变革的新技术研究。目前，NTT Research在美国硅谷桑尼维尔共有三个实验室 ：物理和信息学 (PHI) 实验室、密码学和信息安全 (CIS) 实验室以及医疗和健康信息学 (MEI) 实验室。

原文链接：

http://us.acrofan.com/detail.php?number=608389&UA=PC

文：businesswire

编译：李每

编辑：慕一
注：本文编译自“ businesswire”，不代表量子前哨观点。