脉冲神经网络_光芯片上的全光脉冲神经网络

Nature昨天刊登了德国明斯特大学的一篇最新进展，研究人员在光芯片上实现了脉冲神经网络(spike neural network)。先睹为快，这篇笔记主要介绍下这篇进展。研究人员将氮化硅波导与相变材料结合，实现了监督式和非监督式的机器学习，并演示了对15个像素图片的模式识别。

关于相变材料(phase changing material, 以下简称PCM), 小豆芽之前的一篇笔记 基于光芯片的内存内计算(memory-in computing)提到过。研究人员采用相同的材料GST(全称为Germanium Antimony Tellurium), 它可以在晶体和非晶态之间切换。GST通过溅射的方法沉积在SiN波导上方。GST的折射率随波长变化曲线如下图所示, 当PCM处于非晶态时，它的吸收率较小，而当它处于晶体态时，吸收率较大。基于这一性质，它可以作为神经网络的权重单元(weights)，用来调控SiN波导中的光强，

(图片来自文献1)

光脉冲神经网络的结构如下图所示，

(图片来自文献1)

而典型的神经元结构如下图所示，

(图片来自https://www.cnblogs.com/by-dream/p/10497816.html)

比较上面两幅图片，可以看出光学脉冲神经网络的结构与生物神经元结构非常类似，两者之前存在一种对应关系。对于光学脉冲神经网络，不同波长的光脉冲序列输入进PCM构成的突触单元(synapse), 经过PCM的作用，脉冲强度发生变化，对应于乘法器。进而借助于微环结构，将不同波长的脉冲导入进同一波导中，该功能类似加法器。相加后的脉冲光强较小时，probe光与微环发生共振，在输出端口没有光强输出。当光强达到一定的阈值后，probe信号不再和微环发生共振，而是传播到输出端口。这一过程类似神经元脉冲信号的激发，扮演了非线性激活函数的功能。基本的光学结构单元如下：

1. 含PCM的波导

下图中的结构I, 作为突触单元，调控光脉冲信号的强度，相当于乘法器

2. WDM波分复用器

下图中的结构II, 采用微环结构，将不同波长的光脉冲导入到同一根波导中，相当于加法器

3. 含PCM的微环结构

下图中的结构VI, 作为非线性激活函数。当脉冲能量超过430pJ时，“激发”一个光脉冲。

(图片来自文献1)

整个信号处理过程分为四步: 1)Weighting, 2)Mux, 3)Sum, 4) Output。典型的光路结构如下图所示，下图对应三个神经元结构。

(图片来自文献1)

利用上图的单个神经元结构，研究人员验证了监督式机器学习和非监督式机器学习。对于监督式机器学习，权重的数值通过外部的supervisor设置。

(图片来自文献1)

左图对应1010的识别，右图对应1100的识别。

对于非监督式机器学习，不再需要外部的supervisor来设置权重值，而是通过输出光脉冲进行反馈控制，调整权重值，如下图所示。当光脉冲信号产生时，增加对应的权重值，而没有光脉冲信号产生时，减小对应的权重值。下图展示了对0110的识别过程。

 (图片来自文献1)

上述的演示都是针对单个神经元的，对应2x2矩阵的操作。进一步，他们提出了更复杂的光学脉冲神经网络结构，证明该结构的可扩展性。神经网络中的每一层结构，如下图所示。每一层包括三个功能单元，即收集器collector、分发器distributor和神经突触结构neurosynapse。收集器将上一层不同波长的光脉冲信号收集到同一根波导中，分发器将光脉冲分发给N个神经元，神经突触结构则产生光脉冲信号，输入给下一层结构。

(图片来自文献1)

基于上述的架构，他们进一步演示了对字母ABCD的识别。光路中包含4个神经元，每个神经元包含15个突触，对应识别含15个像素的图片。整个芯片包含140多个光器件，如下图所示。由于涉及到15个波长，收集器不是在片内实现的，而是通过外部的WDM实现。

(图片来自文献1)

可以看出，该结构能够较好地识别ABCD这四个字母。

小豆芽的几点comment:

1) 神经网络所需的功能单元全部都可以在光芯片内实现，而MIT研究组的方案中激活函数是通过片外电学方法实现。这是该方案的一个优势和新颖之处。

2) 采用微环结构，微环是对工艺、温度、波长非常敏感的。如果该方案想进行大批量生产，这会是一个非常大的挑战。当然，可以通过热调的方法进行补偿，但是这会带来额外的功耗。

3) 由于采用了特殊的PCM材料，目前还没有硅光foundry支持这一工艺。

4) 采用波长编码，目前演示的是含15像素的图片识别，涉及到15个波长。如果矩阵的规模进一步变大，例如10x10, 就会涉及到100个波长。这就需要可处理100个波长的波分复用器件，无论是在片内还是片外，实现起来都是非常有难度的。或许，较大的矩阵能拆分成小矩阵进行处理，可以规避这一问题。

文章中如果有任何错误和不严谨之处，还望大家不吝指出，欢迎大家留言讨论。

---

参考文献：

1. J. Feldmann, et.al., "All-optical spiking neurosynaptic networks with self-learning capabilities"， Nature 569, 208(2019)