这是搬来大佬的 ,感谢大佬提出了光谱压缩重建领域内首个基于二值神经网络的算法 — 二值化光谱重分布网络（Binarized Spectral-Redistribution Network，BiSRNet）。BiSRNet 显著地超越了当前最先进的二值化算法，甚至取得了能与全精度CNN比肩的效果，而BiSRNet算法却只需要极低的存储空间（约 0.06 %）和计算代价（约 1 %） ,清华ETH提出首个二值化光谱重建算法

paper: https://arxiv.org/abs/2305.10299

code1: https://github.com/caiyuanhao1998/BiSCI

code2: https://github.com/caiyuanhao1998/MST

 https://github.com/caiyuanhao1998/BiSCIgithub.com/caiyuanhao1998/BiSCI

 https://github.com/caiyuanhao1998/MSTgithub.com/caiyuanhao1998/MST

BiSRNet_卷积

图1 BiSRNet 与当前最先进的二值网络的性能对比

目前所有的代码，预训练模型和测试结果均已开源在我们开发的一个二值化光谱压缩重建工具包 BiSCI 内，该工具包支持八类最主要的二值网络，欢迎大家来使用。同时，我们还将 BiSRNet 嵌入到了我们之前开发的光谱重建工具箱 MST 当中。目前 MST 工具包已支持超过 12 类深度学习算法，并包含各种配套的可视化函数，欢迎大家来对比。

1. 光谱压缩重建任务介绍

相比于常规的三通道 RGB 图像，高光谱图像包含几十上百个波段，从而捕获了关于成像场景更丰富的信息。也正因为这一重要特性，高光谱图像被广泛地应用于医疗，地形勘探，农业等领域。如图2所示，在医院进行检查时，如果只看常规的RGB图像可能很难诊断病因，但是如果采用高光谱图像捕获并在特定波长下渲染的话，就可以看清楚各类血管，骨骼结构等，从而辅助医生诊断。同样的原理也可应用在遥感地形勘探和农业病虫害检测。

BiSRNet_人工智能_02

图2 高光谱图像的应用

然而高光谱图像并容易获取，传统的成像设备采用光谱仪对成像场景进行逐波段的扫描，费时费力，难以捕捉运动场景。近些年，科学家们专门设计了单曝光压缩成像（Snapshot Compressive Imaging，SCI）系统来解决这一问题。其光路结构如图3所示。该系统首先通过一个编码孔径掩膜对成像场景的各光谱通道进行调制，然后通过一个三棱镜进行色散后在相机上捕获到一个二维的快照估计图（compressive measurement）。通过这个光路系统，我们便可将三维的光谱立方块压缩成一个二维的图像。而光谱压缩重建的任务便是从这个二维的压缩估计图上恢复出三维的高光谱数据。

BiSRNet_人工智能_03

图3 单曝光压缩成像系统

当前的主流方法是采用的是全精度模型如 CNN 或者 Transformer 来学一个从压缩估计图到三维光谱立方块的映射。几个比较经典算法有我们之前的工作 MST，MST++，CST，DAUHST，HDNet 等（这些方法全部都开源在我们的工具箱 MST 当中）。这类方法虽然取得了很好的重建效果，但却难以部署到移动端设备（如智能手机、相机、无人机等）上，因为移动端设备的内存空间，计算资源和电力均有限，无法运转全精度模型。另一方面，全精度模型的一些计算单元如深度展开算子和多头自注意力机制等相对复杂，移动端设备无法支持。为了推动光谱重建算法的实际应用，本文做了如下贡献：

（1）提出了光谱压缩重建领域内首个基于二值神经网络（Binarized Neural Network，BNN）的算法 — 二值化光谱重分布网络（Binarized Spectral-Redistribution Network，BiSRNet）。

（2）设计了一个新的二值化卷积单元 — 二值化光谱重分布卷积（Binarized Spectral-Redistribution Convolution，BiSR-Conv）。该卷积单元可以调整光谱表征的强度和分布，同时在反向传播中更好地逼近二值化符号（Sign）函数，从而让求得的梯度更加准确。

（3）制作了四个二值化卷积模块来解决特征图形变过程中的维度不匹配问题，从而让全精度信息能流通整个模型的每一层卷积单元以弥补二值卷积造成的信息损失。

（4）我们的 BiSRNet 显著地超越了当前最先进的二值化算法，甚至取得了能与全精度CNN比肩的效果，然而我们的BiSRNet算法却只需要极低的存储空间（约 0.06 %）和计算代价（约 1 %）。

2. 本文方法

2.1 基础模型

一般来说，用于二值化的全精度模型应该是比较轻量的且它的计算单元可以再移动端设备上运行。然而，现存的CNN 或 Transformer 模型均不满足这一要求。为此，我们重新设计了一个简单，轻量，易于部署的基础模型（Base Model）。

受到之前工作 MST，MST++，CST，DAUHST 的启发，我们设计的基础模型也采用一个 U 形结构，如图4所示。

BiSRNet_二值化_04

图4 基础模型的网络结构

在这个基础模型中，采用的所有计算单元都可以被移动端设备支持，同时也不涉及计算复杂度高的操作。   

2.2 二值化光谱重分布卷积单元

BiSRNet_二值化_05

图 5 符号函数与各类逼近函数的对比图

Clip(x) 与 Quad(x) 的具体表达式如下：

BiSRNet_二值化_06

我们计算图 5 (d) 中的阴影面积：

BiSRNet_人工智能_07

然后再引入残差链接：

BiSRNet_github_08

图6 本文卷积二值卷积块与普通二值卷积块在处理特征图维度变化时的对比

全精度信息流在二值化算法中非常重要，因为它在一定程度上弥补了量化导致的信息损失。然而在特征图的上下采样过程中，由于维度发生了变化，难以直接引入残差链接以补充全精度信息，如图 6 中每个子图的左半部分所示。蓝色箭头表示二值信号，红色箭头表示全精度信息流。普通的二值卷积模块会在特征度维度改变的同时阻断全精度信息流的传递。然而我们的二值卷积模块通过采用分割合并的技巧，让全精度信息流不被阻断，从而在整个二值模型中流通。

3. 实验结果

3.1 量化指标

BiSRNet_二值化_09

表1 BiSRNet 与 SOTA BNN，传统方法，全精度CNN方法的量化指标对比

表 1 展示了我们的 BiSRNet 与 SOTA BNN，传统方法，全精度 CNN 方法的量化指标对比。可以看到，我们的 BiSRNet 显著超越了当前最先进的 BNN 算法 BTM 2.55 dB。同时超越了所有的 64 位传统算法，增幅超过了 4.49 dB。值得注意的是，我们的 BiSRNet 取得了能与全精度 CNN 方法比肩的性能，比如超过了 \lambda-\text{Net}\lambda-\text{Net} 1.23 dB，然而却只占用了 0.06 % 的存储空间和 1 % 计算代价。

3.2 视觉对比

BiSRNet_人工智能_10

4. 总结

本文首次探索了压缩量化在光谱压缩重建领域的应用，提出了该领域首个二值化卷积神经网络 BiSRNet，在量化指标和视觉结果上都显著地超越了当前最先进的二值化模型。代码，预训练权重，重建结果均开源在：

这一系列光宇光谱压缩重建的工作均开源在下面两个工具箱当中，欢迎使用~

 https://github.com/caiyuanhao1998/MST

 https://github.com/caiyuanhao1998/MST-plus-plus