Nature子刊！科学家在类脑芯片上实现类似LSTM的功能，能效高1000倍

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

转载自：机器之心

格拉茨技术大学的计算机科学家在 Nature 子刊上发表的一篇论文表明，他们找到了一种在神经形态芯片上模拟 LSTM 的方案，可以让类脑神经形态芯片上的 AI 算法能效提高约 1000 倍。

随着智能手机的普及，手机游戏也越来越受欢迎。但视频游戏等程序会大量耗电耗能。与 GPU 等标准硬件相比，基于 spike 的神经形态芯片有望实现更节能的深度神经网络（DNN）。但这需要我们理解如何在基于 event 的稀疏触发机制（sparse firing regime）中模拟 DNN，否则神经形态芯片的节能优势就会丧失。

比如说，解决序列处理任务的 DNN 通常使用长 - 短期记忆单元（LSTM），这种单元很难模拟。现在有一项研究模拟了生物神经元，通过放慢每个脉冲后的超极化后电位（AHP）电流，提供了一种有效的解决方案。AHP 电流可以很容易地在支持多节段（multi-compartment）神经元模型的神经形态硬件（例如英特尔的 Loihi 芯片）上实现类似于 LSTM 的功能。

滤波器逼近理论能够解释为什么 AHP 神经元可以模拟长短期记忆网络的功能。这产生了一种高能效的时间序列分类方法，让类脑神经形态芯片上的 AI 算法能效提高约 1000 倍。此外，它为高效执行大型 DNN 提供了基础，以解决有关自然语言处理的问题。研究论文近期发表在《自然 · 机器智能》期刊上。

论文地址：https://www.nature.com/articles/s42256-022-00480-w

曼彻斯特大学的计算机科学家 Steve Furber 评价这项研究称：「这是一项令人印象深刻的工作，可能给复杂 AI 算法（例如语言翻译、自动驾驶）的性能带来巨大飞跃。」

研究动机

AI 程序通常擅长在数据集中找到特定的模式。例如，在图像识别中，AI 算法首先会找到图像清晰的边缘，然后在拼凑出整体图像时记住这些边缘以及图像的所有后续部分。

这种网络的一个共同组成部分是一个被称为 LSTM 的软件单元，它在事物随时间变化时保持一个元素（element）的记忆。例如，图像中的垂直边缘需要保留在内存中，因为软件会确定它是代表数字「4」的一部分还是汽车的门。典型的 AI 系统必须同时跟踪数百个 LSTM 元素。

当前在传统计算机芯片上运行的 LSTM 网络非常准确，但是非常耗电。为了处理信息比特，它们必须首先检索存储数据的各个比特，对其进行操作，然后再将它们送回存储，并一遍又一遍地重复这个过程。

英特尔、IBM 等芯片制造商一直在尝试一种新的芯片设计方式——神经形态芯片。这种芯片处理信息的方式就像大脑中的神经元网络，其中每个神经元接收来自网络中其他神经元的输入，并在总输入超过阈值时触发。

在这种新芯片中，一些相当于神经元的硬件被连接在一起形成网络。AI 程序也依赖于人造神经网络，但在传统计算机中，这些神经元完全由软件定义，需要来回访问存储。

这种神经形态芯片同时处理存储和计算，因此更加节能。但要利用这种架构，计算机科学家需要在新型芯片架构上重新研究如何运行 LSTM 等网络。

这正是来自格拉茨技术大学的计算机科学家 Wolfgang Maass 等研究者的工作重点。他和他的同事试图复刻人脑中的一种记忆存储机制，这种机制由生物神经网络执行，称为超极化后电位 (AHP) 电流。

AHP 神经元放电模式

大脑中的神经元在触发后通常会返回到其基线水平并保持静止，直到它再次接收到超过其阈值的输入而被触发。但在 AHP 网络中，神经元放电一次后，会暂时禁止再次放电，这有助于神经元网络在消耗更少能量的同时保留信息。

Maass 和他的同事将 AHP 神经元放电模式集成到他们的神经形态神经网络软件中，并通过两个标准的 AI 测试运行他们的网络。第一个挑战是让软件在分割成数百个独立像素的图像中识别手写数字「3」。在这个测试中，他们发现，当在英特尔的神经形态 Loihi 芯片上运行时，他们的算法比在传统芯片上运行的基于 LSTM 的图像识别算法的能效高 1000 倍。

在第二项测试中，研究人员给了该网络一个 20 个句子组成的故事，测试它对故事含义的理解。结果，该神经形态装置的效率是传统计算机处理器算法的 16 倍。

Maass 指出，第二次测试是在英特尔第一代 Loihi 芯片的 22 个系列上进行的，这些芯片在相互通信时消耗相对较大的能量。该公司已经推出了第二代 Loihi 芯片，每一个都有更多的神经元，他说这将减少 chip-to-chip 通信需求，从而使软件运行更高效。

目前，神经形态芯片的商业化案例还是凤毛麟角。因此，这项研究的大规模应用可能不会很快出现。但是艾伦研究所的计算神经科学家 Anton Arkhipov 说，先进的 AI 算法（如 Maass 所展示的算法）可以帮助这些芯片获得商业立足点。「至少，这将加速 AI 系统的构建。」

反过来，这又将加速新颖的 AI 应用的出现，如一个更加智能的 AI 数字助理，这个助理不仅可以提示照片中某个人物的名字，还能帮你回忆起你是在哪里认识的这个人，以及你们之间发生了什么故事。

Maass 说，通过整合大脑中的其他神经元放电模式，未来的神经形态装置甚至有一天可以开始探索众多神经元放电模式如何共同产生意识。

原文链接：https://www.science.org/content/article/microchips-mimic-human-brain-could-make-ai-far-more-energy-efficient

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer6666，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信: CVer6666，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看