光学神经网络 Optical neural network

之前有个博士的课程需要写一个文献综述，于是选了个现在比较热门的话题“光学神经网络ONN”，和大家分享一下。光学神经网络（Optical neural network, ONN）能有效减轻软件和电子硬件两者的部分运算，为替代人工神经网络提供了一种具有前景的方法。人工神经网络中耗能和耗时最多的部分是密集矩阵乘法。但在光学神经网络中，矩阵乘法可以在光速下执行。人工神经网络中的非线性在光学神经网络中也可以通过非线性光学元件实现。并且，一旦光学神经网络训练完成，这个结构可以在无额外能量输入的情况下执行光信号计算。此外，光学神经网络还具有高带宽、高互联性、内在的并行处理等特点。目前，光学神经网络可以分为光电混合神经网络（Hybrid optical-electronic neural network）和全光神经网络（All-optical neural network）两大类。其中光电混合神经网络可以实现卷积神经网络的功能，但是该网络的光学部分只能实现卷积的功能，经光电转换后得到的电信号继续在电子神经网络中传播。而全光神经网络虽然无需光电转换的过程，却无法实现卷积的效果，只能完成全连接层的功能。根据使用的主要光学元件的不同又可以将全光神经网络分为光子芯片（nanophotonic circuit）、被动衍射光学元件（passive diffractive layer）、散射材料三类。

• 基于角度敏感传感器的光电混合神经网络
  （Chen, H. G. et al. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 903-912.）
  2016年，美国康奈尔大学的Huaijin G. Chen等人首次提出ASP-Vision的概念。他们使用一种仿生的角度敏感传感器（angle sensitive pixel, ASP）来取代卷积神经网络的第一层卷积层。这种新型的硬件与算法相结合的光电混合型网络结构被称为ASP-Vision。ASP是一种衍射型传感器，通过光学卷积的方式对图像进行边缘滤波，能同时进行图像的获取以及图像的滤波，该传感器可以显著节省系统功耗，降低数据带宽以及减少浮点运算量，ASP-Vision结构如下图所示。
  与传统深度学习网络相比，ASP-Vision系统可以节省97%的能耗和90%的传输带宽。ASP是一种通过CMOS工艺生产的集成了衍射光栅的光电二极管器件。它基于一种被称为塔伯效应（Talbot effect）的近场衍射现象。当平面波入射到周期性衍射光栅时，光栅的像会在光栅后重复出现。光栅像出现的间隔zt称为塔伯长度其中，d是光栅周期，λ是入射光波长。并且，塔伯效应所成的像会随入射光角度发生水平位移。如果在第一个光栅（基础光栅）后塔伯长度处放置第二个光栅（分析光栅），可以对入射光实现周期性强度调控。如下图所示
  出射光光强为
  
  其中m和β是与光栅的角度敏感性有关的参数，θ是光波入射角，α是两个光栅的相位横向偏移。通过计算像素点相位为α和α+π时光强的差值，我们可以得到该公式中与直流项无关、只与入射角度有关的项。这个过程与滤波器在频域进行特征提取的过程相似。ASP将不同周期、不同方向和不同相位的光栅平铺，且与像素点一一对应，从而实现光学卷积，如下图所示。
  
  
  图中，4×6个子像素平铺组成一个ASP像素。每个子像素大小为10微米，分别对应不同频率、方向和相位的塔伯滤波。上图为ASP其中一个卷积核的输出。使用ASP实现光学卷积最大的限制在于ASP会极大降低图像分辨率。并且ASP像素光能利用率极低，只有10%的量子效率，使得硬件系统中噪声很大。虽然经优化后量子效率有所提升&#