图像传感器图像质量的四大误区！

来源丨安森美

编辑丨新机器视觉

作者丨Geoff Ballew

点击进入—>3D视觉工坊学习交流群

当前我们对图像传感器的依赖程度超出了大多数人的想象。图像传感器应用在汽车上，帮助我们避免碰撞；应用于建筑监控，防止非法入侵；应用于生产线，检查产品的质量。有趣的是，人们经常按照像素大小和分辨率等非常简单的指标，对图像传感器进行分类，但为不同应用选择合适的传感器要比这复杂得多。



分辨率

我们依赖传感器来探测危险，或检测产品中的缺陷，因而传感器的图像质量至关重要。系统设计人员和最终用户通常认为，更高的分辨率（即图像中的像素更多）可以增强图像质量，但情况并非总是如此。更高的分辨率固然可以保留图像的锐化边缘和精细细节，有助于进行目标识别，但也有其他一些因素需要考虑。更高的分辨率会对一些关键参数造成不利影响，比如捕获速度/帧率、传感器尺寸和传感器功耗。它还会影响其他一些系统因素，例如更大的图像需要更高的带宽、存储空间和处理能力。如果必须达到更高的分辨率，那么减小像素大小可以维持镜头和摄像机尺寸，以达到成本和尺寸目标，同时增强图像质量。
人们常以为需要增加尽可能多的像素，而不考虑这决策对成本和系统性能的影响。每当新项目启动时，首先应进行全面的需求分析，需要考虑产品的最终用途、核心参数及各种约束条件，例如镜头和机身的物理尺寸、功率等限制因素。这样可以确保传感器更符合您的应用需求，不会因过早依据分辨率而缩小选择面。


图 1. 使用 1/1.5 英寸 540 万像素 3 µm 分立二极管传感器之前的分辨率

图 2. 使用 1/1.8 英寸 830 万像素 2.1 µm 超级曝光传感器之后的分辨率


电源

图像传感器的性能还在很大程度上取决于其他系统组件，这些组件可能不在光路上，甚至不是传感器的一部分，因而可能不太起眼。而设计人员可能就在这些不太起眼的方面做出了妥协，例如电源的设计。这种妥协会降低图像质量，因为来自电源组件的电噪声可能导致各种图像缺陷，可能是某些细微的缺陷，也可能是每个观看者都会注意到的明显缺陷，但他们可能并不知道缺陷的起因。
实质上，图像传感器就是光子计数器。在微光条件下，光子数量较低，因而系统中的任何“噪声”在图像中表现得更为明显。来自电源的电压尖峰或电压瞬变可能导致最终的图像输出存在缺陷。虽然传感器的设计允许电源电压在容差范围内波动，但一旦出现超出这个范围的偏差，就会影响图像质量。因此，供电的质量是摄像系统设计中的一个至关重要的因素。


噪声源

器件在测量光照时不出现任何误差或偏差只存在于理想情况中；在现实中，传感器芯片中的电路会遇到不同的噪声源，影响每个像素的信号电平，进而影响最终图像中的像素。一般来说，使用最新传感器可以很好地控制读出噪声，但另一种名为暗信号非均匀性 (DSNU) 的噪声源带来了更大的挑战。
在完全黑暗的条件下拍摄图像时，会出现 DSNU 噪声源：由于场景是完全黑暗的，理应完全没有信号，但有些电子会出现异常行为，它们被算作由入射光引起的，造成图像不是完全黑色的。如果每个像素都有这种情况，可以减去这些噪声，就好比您在编辑一张照片时，让整个图像都变得暗一点。但如果这种噪声在像素阵列上不是均匀分布的，就会出现问题，因而 DSNU 是衡量像素阵列差异大小的指标，而随着传感器温度升高，这个问题会变得更严重。
由于会受温度影响，传感器可能在有空调的实验室内测试结果良好，但在户外的炎热环境下，表现得不尽如人意。炎热的夜间环境对控制 DSNU 带来了极大的挑战，由于没有太多的有效信号，这种噪声源将变得更加明显。为了解决这个问题，应在系统常规工作的温度范围内和不同光照条件下，对任何传感器进行测量。如果仅根据室温环境中的测试来选择图像传感器，则在温度升高时，可能遇到意外情况。






信噪比 (SNR)

信噪比的英文缩写为 SNR，定义为信号功率与噪声功率的平均比率。无论噪声多大，如果信噪比非常高，则噪声对图像的影响会小得多。这就好比餐馆账单上的错误。如果您只点了一杯咖啡，多 3 美元就很容易发现，但如果是一大群人用餐，账单金额达到几百美元，您可能不会注意到多出的费用，因为它占总金额的百分比非常小，即使在两种情况下都是 3 美元。同样，如果信号来自数千个光子，就算多几个光子，您可能也不会注意到多出的信号。

再回到图像传感器，如果您的图像包含亮光区域和暗光区域，您将在某些区域发现更多噪声。出人意料的是，这些噪声可能不在图像的暗光部分，而可能在“中光”区域。在低光向亮光转换的过渡区域，仍然存在一些设计限制。要在不引入技术细节的情况下解释清楚这一点不太容易，但我们可以将它比作自行车上的齿轮以便理解。如果您有一辆10速自行车，它会带有一个针对低速优化的齿轮和一个针对最高速优化的齿轮，两者之间还有很多档位。假定自行车只有最高速齿轮、中速齿轮、最低速齿轮：您将拥有适用于慢速（低光）、中速（中光）、快速（亮光）骑行的合适齿轮，但从低速到中速、从中速到高速的转换则不会太舒适，在骑行的某些路段，您会发现这些缺少的齿轮很重要。
有些制造商常将平均信噪比当作图像传感器的主要指标，特意选择信噪比良好区域的性能统计数据，暗示这些数据代表了所有光照条件下的整体图像质量。这就类似于上述示例中的自行车制造商将 3 速自行车的平均齿轮比数据用到10速自行车上。中速齿轮约为所有3个档位的平均值，但从低速到中速、从中速到高速的转换存在很大的空白，现有的3个齿轮都不是理想的选择。设计人员必须知道这一点，不要受到“平均”信噪比的蒙蔽。解决方法是在所需的各种不同光照条件下，对传感器进行测试，并且测量整个范围内的信噪比，看看您是否会受到“自行车缺少齿轮”的影响。




简而言之，如果图像质量对于您的图像传感器应用至关重要，您必须避开一些潜在的陷阱。对分辨率和噪声影响所做的假设必须通过测试加以验证，从而确保在最终系统设计中不出意外。
本文仅做学术分享，如有侵权，请联系删文。
点击进入—>3D视觉工坊学习交流群
干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)8.从零搭建一套结构光3D重建系统[理论+源码+实践]
9.单目深度估计方法：算法梳理与代码实现10.自动驾驶中的深度学习模型部署实战11.相机模型与标定(单目+双目+鱼眼）12.重磅！四旋翼飞行器：算法与实战13.ROS2从入门到精通：理论与实战14.国内首个3D缺陷检测教程：理论、源码与实战15.基于Open3D的点云处理入门与实战教程16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进17.机械臂抓取从入门到实战重磅！粉丝学习交流群已成立
交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，微信号：dddvisiona3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看，3天内无条件退款高质量教程资料、答疑解惑、助你高效解决问题觉得有用，麻烦给个赞和在看~