用于光学神经网络的高速光学卷积加速器

导读

    受生物视觉皮层系统启发的卷积神经网络能够提取原始数据的分层特征，以大大降低参数复杂性并提高预测的准确性。它们在机器学习任务中应用广泛，例如计算机视觉，语音识别，玩棋盘游戏和医疗诊断等。光学神经网络能够利用可用的宽光学带宽极大地提高计算速度。上周三（1月6日），斯威本科技大学的Xu等人在《Nature》上展示了一种通用的光学矢量卷积加速器（vector convolutional accelerator，VCA），其运行速度超过十个TOPS，实现了具有250000像素的图像卷积——对于面部图像识别来说足够大。
    他们使用相同的硬件搭建了具有十个输出神经元的光学卷积神经网络，从而以88％的准确度成功识别了手写数字图像。这种方法可扩展和训练到更复杂的网络，以应对诸如自动驾驶汽车和实时视频识别之类的高要求应用。

一、工作原理

    该系统的工作原理如上图所示。输入数据X被编码为串行电波形中时间符号的强度，符号率为1/$\tau$（波特），其中$\tau$为符号周期。卷积核由长度为R的权重向量W表示，该权重向量W是使用波整形器通过频谱整形在微梳线的光功率中编码的。随后，通过电光调制将时间波形X组播到卷积核波长通道上，生成权值W的副本。然后，光波形通过等于X的符号持续时间的延迟步长（在相邻波长之间）的色散延迟进行传输，从而有效地实现了时间和波长的交织。最后，通过高速光电检测对延迟和加权的副本进行求和，以使每个时隙在给定的卷积窗口（感受野）中在X和W之间产生卷积。
    卷积窗口以与X的波特率匹配的调制速度有效地滑动。每个输出符号都是R个乘累加（MAC）操作的结果，计算速度为$2R/\tau$ TOPS。由于此过程的速度与波特率和波长数量成比例，因此，来自微梳的大量平行波长能够增加速度。此外，输入数据X的长度在理论上是不受限制的，因此卷积加速器（CA）可以任意规模处理数据——实现的唯一限制是外部电子设备。
    通过为每个卷积核添加R个波长的子带来实现与多个卷积核的同时卷积。在多播和分散延迟之后，子带（卷积核）被解复用并分别检测，从而为每个卷积核生成电子波形。VCA是完全可重新配置和可扩展的：内核的数量和长度是任意的，仅受波长总数的限制。因为矩阵能够展平为向量，所以CA也能够处理图像矩阵。

二、矩阵卷积加速器

    在该部分中，他们展示了该系统如何高速地处理USC-SIPI数据集中的图片。该数据集中图片的尺寸大小为$500\times 500$。
    该系统能够同时执行10个尺寸为$3\times 3$的卷积核的图像卷积运算。如上图中栏最上面所示，这些卷积核先被展平为1维的卷积核向量W（$10\times 3\times 3=$