人工智能中的视频光谱技术（Video Spectroscopy meets Artificial Intelligence)

原文链接：Video Spectroscopy meets Artificial Intelligence (from Cubert)

    随着功能强大的计算机（甚至在最小的设备中）可用性的不断提高，我们看到成像技术在工业和日常产品中的使用越来越多。人工智能和机器学习提高了我们的图像传感器功能。大多数算法依赖于灰度或RGB图像。同时他们也忽视了光的重要部分信息。

    光谱图像在原有的二维几何图像中拓展了一维光谱信息。光谱信息从可见光到近红外光，通过将光谱跨度分为很小而得到。这些信息能提供RBG图像和人眼无法看到的信息，能被用于许多领域。

    此外，机器学习算法需要大量的训练集来训练算法，相比于单一的图像，通过增加光谱图像可以大大加速训练速度。

    迄今，具有尚可接受分辨率的高光谱图像多数是通过扫描式获得的。复杂的传感器设置、高昂的价格使得高光谱图像很难被广泛使用。Cubert高光谱相机采用快照式，能进行实时视频成像。

 

 

快照式高光谱成像系统

• 基于棱镜分光

    使用基于棱镜分光系统的FireflEYE 185是第一代快照式高光谱相机，能提供50x50x125分辨率，覆盖450-950nm波长。相比于扫描式（一次只通过一条线光）和可调谐滤光器式（一次只通过一种波长的光），快照式相机能使用全部的光信息。FireflEYE 185能使得70%的光到达传感器，因此有着不错的信噪比。同时通过将高光谱相机数据（50x50x125）与全景相机数据（1000x1000x1）融合后，能得到1000x1000x125分辨率的数据。

• 基于光场技术

     ULTRIS 20是第一代使用基于光场技术的高光谱相机，其能生成高空间和光谱分辨率数据。光场技术能同时使用入射光的强度和方向来生成光谱图像。基于光场技术的方法通过生成大量图像，而每个图像具有单独的滤光片。ULTRIS 20结合来一连串可变的带通滤光片和一个多透镜阵列和一个20-MP的CMOS传感器。 ULTRIS 20能生成400x400的光谱图像，同时具有覆盖了450-950nm的125波段。能实现8帧的速率。成像速度理论上对应了线扫描式或普通2D相机的3200帧。

• 其他快照式技术

    Filter-on-Chip Technology（片上滤波技术）：此技术在牺牲光谱分辨率和信噪比的情况下，能实现高空间分辨率和高成像速度。集成的滤波器由几个给定波段的滤光片组合而成。2019年前，Cubert公司还使用这种技术，后来这种技术被光场技术所取代。

    Piezo-actuated Fabry-Perot Interferometer（Fabry-Perot干涉仪） ：这种快照成像技术提供了很高的可选光谱带的空间分辨率。即用型数据立方体的需求图像共配准预处理，因为一个图像的单个光谱带捕获时差很小。

 

适合视频的光谱技术

    尽管所有快照式和扫描式所获得的datacube是相似的，在某些场景下甚至可以互换，但是图像本身具有很大的差异。

    第一，最大的差异来自光照的改变，不管是采用多点式技术（基于棱镜）还是光场技术的快照式相机在datacude的采集，几乎所有的光都能被使用，而不需要压缩成一条线或者单波段光。更好的光效率可提供出色的信号质量和在最短的时间内获得更高的信噪比。

     第二，时间的改变，快照成像光谱仪可以在几毫秒或更短的时间内捕获整个图像。

 

未来发展趋势

    高分辨率高光谱相机都涉及高昂的购置成本，复杂而耗时的可用性。这使得行业难以整合技术有效地应用于机器视觉系统。获取高谱图像准确记录并提供可靠的图像信息。