灯珠CCD或CMOS成像RGB数据光谱重建

lida2003

于 2024-05-11 06:18:27 发布

阅读量863

点赞数 19

分类专栏： Physics 文章标签：人工智能算法

本文链接：https://blog.csdn.net/lida2003/article/details/138694573

版权

Physics 专栏收录该内容

74 篇文章 17 订阅

订阅专栏

1. 源由

本文主要为了通过摄像头CCD或者CMOS传感器对灯珠成像数据分析、重建灯珠可见光范围光谱数据的研究，从原理和方法上论证可行性。

随着照明技术迅猛发展，LED技术日渐成熟。LED产品由于具备经久耐用、节能且价格低等优势，已成为照明行业的绝对力量，被广泛应用于生活及工作的方方面面，与人们如影随形，密不可分。
近日，医学专家担忧LED蓝光会对视网膜造成损害，甚至是失明。早在1966年Nell等研究发现蓝光的照射可以引起视网膜细胞的损伤，导致视力下降甚至丧失。其中，波长400-460纳米之间的短波蓝光对视网膜的危害程度最大。在2010年国际光协会年会中，世界顶尖光学专家一致指出：短波蓝光具有极高能量，能够穿透晶状体直达视网膜。蓝光照射视网膜会产生自由基，而这些自由基会导致视网膜色素上皮细胞衰亡，上皮细胞的衰亡会导致光敏感细胞缺少养分从而引起视力损伤，而且这些损伤是不可逆的。
蓝光对人眼的危害，主要表现在导致近视、白内障以及黄斑病变的眼睛病理危害和人体节律危害。

损结构:有害蓝光具有极高能量，能够穿透晶状体直达视网膜，引起视网膜色素上皮细胞的萎缩甚至死亡。光敏感细胞的死亡将会导致视力下降甚至完全丧失，这种损坏是不可逆的。蓝光还会导致黄斑病变。人眼中的晶状体会吸收部分蓝光渐渐混浊形成白内障，而大部份的蓝光会穿透晶状体，尤其是儿童晶状体较清澈，无法有效抵挡蓝光，从而更容易导致黄斑病变以及白内障。
视疲劳:由于蓝光波长短，聚焦点并不是落在视网膜中心位置，而是离视网膜更靠前一点的位置。要想看清楚，眼球会长时间处于紧张状态，引起视疲劳。长时间视觉疲劳，可能导致人们近视加深、出现复视、阅读时易串行、注意力无法集中等症状，影响正常学习与工作。
睡不好:蓝光会抑制褪黑色素的分泌。褪黑色素是影响睡眠的一种重要激素，是促进睡眠、调节时差。

按照现行的国内外标准GB/T 20145-2006/CIE S009/E:2002和CTL-0744_2009-laser决议，对各类LED照明产品进行的光生物安全的检测及评判结果，并且较客观地分析了目前我国LED照明产品的蓝光危害的实际情况。
鉴于光谱采集和分析设备具有专业化程度高，价格成本高，且通常在专业实验室或者研究机构。本文从日常环境入手，期望通过具备CCD或CMOS的设备（比如：手机，摄像头等）进行光源（灯珠）成像数据逆向重构光谱，进而由光谱数据对光源（灯珠）健康指数进行量化评估。

2. CCD和CMOS传感器结构和原理

CCD/CMOS作为记录光线变化的半导体，通常以百万像素〈megapixel〉为单位。规格中的多少百万像素，指的就是CCD/CMOS的解析度，也代表着有多少感光元件。
CCD/CMOS传感器是当前被普遍采用的两种图像传感器，两者都是利用感光二极管(photodiode)进行光电转换，将图像转换为数字数据，而其主要差异是数字数据传送的方式不同。这种转换的原理与 “太阳能电池”效应相近，光线越强、电力越强；反之，光线越弱、电力也越弱的道理，将光影像转换为电子数字信号。

在这里插入图片描述

CCD 和 CMOS 在结构上，ADC的位置和数量是最大的不同。简单的说，CCD每曝光一次，在快门关闭后进行像素转移处理，将每一行中每一个像素（pixel）的电荷信号依序传入“缓冲器”中，由底端的线路引导输出至 CCD 旁的放大器进行放大，再串联 ADC 输出；相对地，CMOS 的设计中每个像素旁就直接连着 ADC（放大兼类比数字信号转换器），讯号直接放大并转换成数字信号。
由于构造上的基本差异，两者在性能上的表现之不同。CCD的特色在于充分保持信号在传输时不失真（专属通道设计），透过每一个像素集合至单一放大器上再做统一处理，可以保持资料的完整性；CMOS的制程较简单，没有专属通道的设计，因此必须先行放大再整合各个像素的资料。

3. 相机工作原理

光线照射在物体上面，形成反射；反射光线进入镜头（通过光圈、透镜、棱镜等光学器件）照射在CCD/CMOS芯片的感光微观结构上，通过光电效应产生电子，进而形成电流，产生电压。在曝光结束后，每个微观结构所形成的电压从CCD/CMOS芯片中读取，并由相机内部处理器处理，生成数字图像。
根据CCD/CMOS传感器结构和工作原理，CCD/CMOS是感知光线中的光子，当微观粒子光子撞击微观结构通过光电效应转换成电子，而光子和电子的数目互成比例，从而进行量化转换。

3.1 单色相机

由于单色相机只感知光的强度，因此每个像素只有一个电压信号，最终产生的一张和亮度相关的灰度数字图像。而实际上很多工业相机以及实验室光谱仪采用的也都是类似工作原理，只是在CCD/CMOS前端有较多的光学设备（滤镜，棱镜等）。

在这里插入图片描述

3.2 彩色相机

由于彩色相机每个像素具备红绿蓝三色分量，因此最终获取到的是三个电压信号，记录三种颜色，最终形成一张RGB彩色图片。
从原理的角度，可以采用分光棱镜将RGB三个基本色分开，通过3个CCD/CMOS分别记录，然后再将RGB数据合成。鉴于该方法需要较多光学设备和传感器，通常彩色相机采用只含红绿蓝三色的马赛克滤镜，再加上对其输出信号的处理算法发，就可以实现一个CCD/CMOS记录彩色图像数字信号。这个设计理念最初有拜耳（Bayer）先生提出，这种滤镜也被称作拜耳滤镜。
该滤镜的色彩搭配形式为：一行使用蓝绿元素，下一行使用红绿元素，如此交替；换言之，每4个像素中有2个绿色分量感光，另外两个像素中，一个对蓝色感光，一个对红色感光。由于滤镜具有天生的传感器微观几何位置的误差，与期望的每个像素含有3种颜色（RGB）所矛盾，就需要做色彩空间插值法处理，目前最为成熟的色彩插值算法也会在图片中产生低通效应。从价格成本的考虑，上述常用单CCD/CMOS方案相比3CCD/CMOS方案生成图像更加模糊，精度不高的问题。

在这里插入图片描述

4. CIE1931RGB真实三原色表色原理

CIE1931RGB真实三原色表色原理
国际照明委员会（CIE）规定红、绿、蓝三原色的波长分别为700nm、546.1nm、435.8nm，在颜色匹配实验中，当这三原色光的相对亮度比例为1.0000：4.5907：0.0601时就能匹配出等能白光，所以CIE选取这一比例作为红、绿、蓝三原色的单位量，即（R）：（G）：（B）=1：1：1。尽管这时三原色的亮度值并不等，但CIE却把每一原色的亮度值作为一个单位看待，所以色光加色法中红、绿、蓝三原色光等比例混合结果为白光，即（R）+（G）+（B）=（W）。
把两个颜色调整到视觉相同的方法叫颜色匹配，颜色匹配实验是利用色光加色来实现的。下图中左方是一块白色屏幕，上方为红R、绿G、蓝B三原色光，下方为待配色光C，三原色光照射白屏幕的上半部，待配色光照射白屏幕的下半部，白屏幕上下两部分用一黑挡屏隔开，由白屏幕反射出来的光通过小孔抵达右方观察者的眼内。人眼看到的视场如图右下方所示，视场范围在2°左右，被分成两部分。图右上方还有一束光，照射在小孔周围的背景白版上，使视场周围有一圈色光做为背景。在此实验装置上可以进行一系列的颜色匹配实验。待配色光可以通过调节上方三原色的强度来混合形成，当视场中的两部分色光相同时，视场中的分界线消失，两部分合为同一视场，此时认为待配色光的光色与三原色光的混合光色达到色匹配。不同的待配色光达到匹配时三原色光亮度不同，可用颜色方程表示：

$C = r （ R ） + g （ G ） + b （ B ）$

式中C 表示待配色光；（R）、（G）、（B）代表产生混合色的红、绿、蓝三原色的单位量；r、g、b分别为匹配待配色所需要的红、绿、蓝三原色的数量，称为三刺激值；“o”表示视觉上相等，即颜色匹配。

在这里插入图片描述
$颜色匹配实验$

5. LED灯珠样品和太阳光光谱数据

在这里插入图片描述阳光健康全光谱特性：

光谱连续性更好；
更接近自然光（太阳地表辐射光谱）；
不含高能量短波的紫光成分。

在这里插入图片描述 $太阳辐射光谱$

6. CCD/CMOS成像数据光谱分析

借鉴上述CIE1931RGB比色原理，采用RGB单色基础光谱作为三种基础光谱，根据灯珠样品RGB成像CCD/CMOS数据，对三种基础光谱进行加权叠加，重建灯珠样品的光谱数据。
通过类似CIE1931比色原理和专利【1】上均由有相关可行性描述。在精度、准度要求不高，从补充经验信息和定性分析的角度，可以作为一种基于经验的大数据健康光谱数据评估方法。

具体步骤如下：

建立各单色基础光谱数据；
搭建标准化拍摄照明环境；
设定好彩色数码相机各项拍摄参数；
拍摄暗电流噪声RGB图像；
拍摄各单色基础样品RGB图像；
对各单色基础样品RGB图像的暗电流噪声和不均匀性进行校准；
建立各单色基础样品RGB图像（对光谱数据）响应值；
拍摄训练样本RGB图像；
对训练样本RGB图像的暗电流噪声和不均匀性进行校准；
提取训练样本RGB图像（对光谱数据）响应值；
拍摄重建样本RGB图像；
对重建样本RGB图像的暗电流噪声和不均匀性进行校准；
计算重建样本RGB图像（对光谱数据）响应值；
评估真实光谱数据与重建光谱数据差异；

专业方面考虑如下：

评估真实光谱数据与重建光谱数据差异的有效算法；
RGB图像与各单色基础光谱数据响应模型；
环境因素（非标场景：室内，室外等）对响应模型的影响；
模型收敛最终判定依据和有效样本数问题（大数据分析）；

7. CCD/CMOS成像数据光谱风险评估

鉴于光谱数据直接来源于光本身特性，传统检测手法采用将光从频域空间经过棱镜转换到空间域上进行信息采集。目前通过RGB重建光谱，学术界及工业界均尚未提出合理有效解决方法【1】的情况下，逆向重建光谱存在精度、准度和数据一致性的问题。
当采用CCD/CMOS相机通过RGB数据伪逆方法求解和重建光谱数据，存在以下不精确性风险：

技术角度来说，该方法导致熵增加（信息丢失）问题，不可克服；
CMOS传感器存在光电感应单元ADC不统一而信息不一致问题；
通常相机RGB滤镜存在几何上的数据不一致问题；
报告是在欠缺实验数据和缺少专业考虑点（文献）的情况下进行，存在技术奇点（比如：真实光谱数据与重建光谱数据差异的有效算法、RGB图像与各单色基础光谱数据响应模型、环境因素（非标场景：室内，室外等）对响应模型的影响、大数据分析问题）

从充要条件的逻辑思路分析：材料物理学所给出的光谱数据与CCD/CMOS相机中RGB数据逆向求解光谱数据之间的关系属于充分条件。换言之，材料物理学所给出的光谱数据可以演绎出CCD/CMOS相机中RGB数据逆向求解光谱数据；反之，则不然。这里存在一个典型的信息缺失问题，因而从大数据分析角度，如果逆向求解存在可行性，材料物理理论模型以及实验室数据对于逆向求解具有关键意义。