无痛涨点！光学神经网络才是天降紫微星！

AI科研灵感致力于成为您在人工智能领域的领航者，定期更新人工智能领域的重大新闻与最新动态，和您一起探索AI的无限可能。立即关注我们，开启您的AI学习之旅！

2024深度学习发论文&模型涨点之——光学神经网络

光学神经网络（Optical Neural Networks, ONNs）是一种利用光学器件（如激光、光学调制器、滤波器、探测器等）来模拟和实现神经网络推理功能的计算模型 。它通过利用光的特征量（如振幅、相位、频率等）进行信号传输和数据处理，将神经网络的推理计算过程在光的传播过程中完成 。与传统的电子神经网络相比，光学神经网络具有低延迟、低能耗、并行信号处理以及抗电磁干扰强等优势 。

• 图像识别：由于光的高速传播特性，光学神经网络可以实现快速的图像处理和识别。

• 语音识别：利用其高带宽特性，光学神经网络可以处理和识别大容量的语音信号。

• 自然语言处理：可以用于文本分类、情感分析等任务。

• 模式分析：在模式识别和分析方面，光学神经网络能够提供高效的解决方案。

小编整理了一些光学神经网络【论文】合集，以下放出部分，全部论文PDF版皆可领取。

需要的同学

回复“光学神经网络”即可全部领取

论文精选

论文1：

FatNet: High Resolution Kernels for Classification Using Fully Convolutional Optical Neural Networks

FatNet：使用全卷积光学神经网络进行分类的高分辨率核

方法

• 全卷积光学神经网络（FatNet）：提出了一种全卷积光学神经网络架构，通过使用高分辨率的特征图和核来提高分类性能。

• 4f系统加速：利用自由空间4f系统加速神经网络的推理速度，通过光学方式进行卷积操作。

• 光学-电子混合系统：结合光学和电子系统，光学部分负责卷积操作，电子部分负责后续处理。

• 高分辨率特征图：在保持帧率不变的情况下，使用更高分辨率的特征图和核，减少光学到电子的转换次数。

  

创新点

• 高分辨率核的使用：通过使用高分辨率核，减少了卷积操作的数量，从而提高了推理速度，FatNet在光学实现中比ResNet-18减少了8.2倍的卷积操作。

• 光学加速：利用4f系统的并行性，实现了比传统电子系统更快的推理速度，FatNet在光学实现中的推理时间比GPU实现的ResNet-18快得多。

• 光学-电子混合架构：通过光学-电子混合架构，实现了高效的光学卷积操作和电子处理的结合，提高了系统的整体性能和效率。

论文2：

Image sensing with multilayer, nonlinear optical neural networks

使用多层非线性光学神经网络的图像传感

方法

• 多层光学神经网络（ONN）：构建了一个多层ONN作为图像传感器的前处理单元，通过光学编码将图像压缩到低维特征空间。

• 非线性激活函数：使用商业图像增强器实现光学到光学的非线性激活函数，增强了网络的深度和非线性能力。

• 光学矩阵-向量乘法：通过光学方法实现矩阵-向量乘法，利用微透镜阵列和液晶显示器进行光学编码和解码。

• 光学压缩和特征提取：通过光学编码将图像压缩到低维特征空间，提取与特定任务相关的图像信息。

创新点

• 非线性ONN编码器：通过引入非线性激活函数，提高了ONN在图像压缩和特征提取中的性能，实现了高达800:1的压缩比。

• 多层ONN架构：实现了多层ONN架构，能够处理更复杂的图像传感任务，如细胞器分类和交通标志识别。

• 光学压缩性能提升：在高压缩比下，非线性ONN编码器在多个图像传感任务中表现出比线性ONN和传统图像传感器更高的准确性和效率。  

---

论文3：

Single-chip photonic deep neural network with forward-only training

具有前向训练的单芯片光子深度神经网络

方法

• 集成光子深度神经网络（FICONN）：在单芯片上集成了多个光学处理器单元，实现了矩阵代数和非线性激活函数的光学计算。

• 光学非线性单元（NOFU）：设计了一种可编程的光学非线性单元，通过电光自调制实现非线性激活函数。

• 光学矩阵乘法单元（CMXU）：利用马赫-曾德尔干涉仪（MZI）网格实现矩阵-向量乘法的光学计算。

• 原位训练：实现了无需反向传播的原位训练方法，直接在硬件上优化模型参数。  

  

创新点

• 超低延迟推理：实现了410皮秒的超低延迟推理，适用于需要超快速处理的应用场景。

• 高能效：在光学域中进行计算，减少了光学到电子的转换，实现了每操作约4.6皮焦耳的能效。

• 原位训练性能：在六类元音分类任务中达到了92.5%的准确率，与数字计算机相当，展示了原位训练的有效性和高效性。

---

论文4：

Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks

Spike-FlowNet：基于事件的光流估计与能效混合神经网络

方法

• 混合神经网络架构：将脉冲神经网络（SNN）和模拟神经网络（ANN）结合在一起，用于高效处理事件相机输出的稀疏事件数据。

• 脉冲输入事件表示：提出了一种新的输入表示方法，将事件相机输出的时间序列编码为脉冲事件，保留了时空信息。

• 自监督学习：使用自监督学习方法进行训练，利用灰度图像作为代理标签，避免了昂贵的标注过程。

• 近似反向传播：采用近似梯度方法在SNN层中进行反向传播，解决了脉冲神经元模型的非可微性问题。

  

  

创新点

• 混合架构性能提升：Spike-FlowNet在光学流预测能力上优于相应的ANN方法，同时显著提高了计算效率。

• 脉冲事件表示：通过保留事件的时空信息，提高了对事件相机输出的处理能力，使得网络能够更好地处理稀疏事件数据。

• 计算效率优化：SNN层的稀疏计算特性使得Spike-FlowNet在计算效率上比全ANN架构提高了214.2倍（dt = 1）和25.51倍（dt = 4）。

小编整理了光学神经网络论文代码合集

需要的同学

回复“光学神经网络”即可全部领取