木东-CSDN博客

原创 ISP Pipeline - black level correction

" 声明：此文档中的大部分内容来源于网络，经校对和整理后分享给大家，仅供学习参考使用。黑电平，是指图像传感器在零光照条件下的输出信号基准值，以 raw10 为例，假设黑电平是 64，单个像素的亮度由电平值表示，则64代表最暗，1023 代表最亮，黑电平校正就是为了把 64 校正为 0 的过程。在无光照情况下，图像传感器输出的原始数据理论上应该为 0，但由于暗电流的存在，它输出的实际数据并不为 0，为减少暗电流对图像信号的影响，需要从已获得的图像信号中减去暗电流信号，

2025-02-23 18:53:13 1060

原创关于Camera出图左右清晰度不一致的问题分析

所以镜头生产过程中，镜片之间的位置发生倾斜，就会导致出现图像左右清晰度不一致的情况，这就属于镜头的质量问题，需要在镜头生产过程中去筛选出来。摄像头成品是需要安装上外壳及很多的零部件，需要注意的是，模组对焦完成后，在后续的一些流程也会导致已对焦好的模组跑焦，比如模组的点胶过程，及后续的外壳及零部件的组装过程，都会导致模组跑焦，需要在这些流程之后，增加检验的流程，防止跑焦。比如当我们调试过程中，需手动对焦时，很多拿到手的模组都是已点胶的状态，需要手动抠掉点胶的部分，需要固定模组的治具、测试图卡、稳定的光源；

2024-12-27 08:57:37 855

原创大面积纯色背景下，awb 偏色要如何调试？

但要注意的是，这种在灰区边缘部分的白点可以移除，但如果白点集中普朗克曲线上，或者中心部分，那这就不能通过这种方法来处理了，否则大部分场景都会出问题，就得不偿失了。此时转动摄像头，把绿植移出画面，当画面颜色正常后，读取当前的判定色温，也还是4500K左右，那就是色温判的没有问题。如下是awb算法统计灰区内的白点分布，这个看着就有点奇怪了，这是awb跑飞了的感觉，统计的区域就没白点了，这个问题是在夜晚室内光源下，对着大面积的橙色毛衣拍的，左边白墙是偏蓝了，此时色温判定的是2000K，

2024-11-23 20:43:55 1568 3

原创关于图像客观指标的调试总结

因此它们通常测的值较低。类似的也有遇到用OECF-20的图卡，测试灰阶，由于图卡两边的照度差异200lux左右，结果就是测不过，亮度调整成一致后，就可以测过了。注意：如上ΔC，ΔE 的计算公式是基于CIE1976的标准，CIE1994和CIE2000的计算公式是不同的，但有些复杂，设置的同样的色温和照度，拍出来的24色卡图，存在肉眼可见的差异（LED灯箱下拍摄的图卡更鲜艳，亮度更高），如下图所示；首先还是要先确认环境，用的什么类型的光源、补光位置在哪里、色卡的位置是怎么摆放的、摄像头的位置是怎么摆放的，

2024-11-03 22:34:55 942

原创如何测量场景的照度和色温？

照度计和被测物体表面平行放置时，能保证光源照射到物体表面和照度计传感器表面方向及距离相同，此时测出的照度和色温，就是被照物体的照度和色温。而和Camera镜头位置平齐放置时，测出的是直接进入camera光线的照度和色温，测量位置不同，测出的结果会有所差异。所以首先要明确，在使用照度计测量场景的照度和色温时，我们是要测量场景整体的光环境，还是特定物体的光照情况。入射到物体的表面上，该表面上每单位面积接收到的光通量，照度（单位：流明每平方米，勒克斯，lx），假设我们想知道距离蜡烛1米处的照度。

2024-10-19 21:45:58 1302

原创如何区分不同类型的光源

如果某一光源发出的光，与某一温度下黑体发出的光所含的光谱成分相同．即称为某K色温、如100W灯泡发出光的颜色，与绝对黑体在2527℃时的颜色相同，那么这只灯泡发出的光的色温就是：2527℃+ 273℃=2800K（0K = -273°C）。判断一个光源显色性的优劣，要看它的显色指数（CRI），CIE推荐用“测验色”法来定量评价光源显色性，以测量参照光源照明和待测光源照明下，标准样品的总色位移量为基础来规定待测光源的显色性，用一个数值(显色指数)来表示。光源的显色性是由光源的光谱功率分布决定的。

2024-10-19 21:44:08 1120

原创定焦镜头可以改变焦距吗？

其余有限远的对焦距离，像距都是大于焦距的，此时焦点不可能在sensor面上，而是光线会经过焦点在sensor上成像，焦点的位置不是聚焦最清楚的位置。如上图所示，调焦的过程就是改变镜头与sensor之间的距离，当对焦的目标物体由远到近时，镜头和sensor之间的距离是要逐步增大的，但有个问题一直有点疑惑，焦距是镜头中心到焦点的距离，当我们拧动镜头调焦的过程，就是为了使得焦点成像在传感器上，焦距是镜头的一个固有光学特性，和镜头设计相关，所谓定焦镜头，焦距肯定是固定不变的。但定焦镜头的焦距是不变的呀？

2024-10-15 08:52:54 1020

原创关于 Camera Tuning 岗位的一些认识和看法

之前也写过几篇关于Camera Tuning岗位的相关介绍：IQ Tuning 学习路线关于入职 ISP Tuning 岗位的几个问题及解答随着工作时间越长，对这个岗位的认识较之前也有了一些更深刻的理解，这里整理总结一下。一方面是当做现阶段的思考记录，一方面可以给到刚入行或者即将入行的小伙伴以参考。下面会从如下几个问题去描述：Camera Tuning岗位是做什么的？怎样才能做好Tuning的工作？关于Camera Tuning的岗位前景如何？结合我平常的工作任务来看，总结一下其实就两点：解决图像效果相关的

2024-09-13 21:54:05 2445 1

原创关于图像亮度相关的调试总结

关于图像亮度的调试，是整个ISP中非常重要的一块，它决定了图像整体的亮度、对比度、细节、以及噪声，对人眼有非常直观的感受，

2024-08-18 22:06:45 1786 1

原创什么是图像噪声

维基百科的定义：图像噪声（image noise）是图像中一种亮度或颜色信息的随机变化(被拍摄物体本身并没有)，通常是电子噪声的表现。它一般是由扫描仪或数字相机的传感器和电路产生的，也可能是受胶片颗粒或者理想光电探测器中不可避免的散粒噪声影响产生的。图像噪声是图像拍摄过程中不希望存在的副产品，给图像带来了错误和额外的信息。ISO的定义: unwanted variations in the response of an imaging system（成像系统中不需要的信号响应的变化）.

2024-08-02 22:48:34 1455

原创关于图像对比度的概念和计算

对比度就是画面中明暗部分的亮度比，对比度越高，则图像中明暗部分的差异就越大。但要注意，衡量一幅图像中的对比度，需要分为全局对比度和局部对比度；如下图两幅图所示，它的全局对比度是一样的，也就是图像中最暗和最亮部分亮度比相同。但很明显右图看着要通透明亮许多，这里就是局部对比度差异导致的。

2024-07-14 17:44:39 4448

原创关于摄像头模组中滤光片的介绍

夜晚/光线很暗时，自动切换为白玻璃片，400-1100nm波长的光线透过率大于90，此时一般会开启红外灯进行补光，且图像呈现黑白模式，所以红外补光灯可以进入到 sensor上成像，另外也不用在意画面颜色。另外用于机器视觉的上摄像头，采集到的画面是给到机器去识别、检测，可能需要只允许特定波段的光通过，通带以外的光截止（在光谱曲线中，光线实际通过的区域叫做通带）。负责人脸检测的摄影头，用的就是常见的bayer格式的sensor, 但这是红外光成像的，所以也没有颜色。在具体项目上又是如何应用的呢？

2024-06-27 22:15:08 4358 3

原创如何使用照相机

经过同样的时间，运动物体从左至右横穿过画面比朝向或远离我们时，对于在胶片上成像而已，其位移量是要大的，所以其运动速度也是要大的，所以拍出来的画面就更容易模糊。但当想使用f/16这样的小光圈进行拍摄时，因为光圈小，进入的光线是微弱的，所以取景器中看到的影像也是暗淡的，甚至根本无法正确对焦，要如何解决此问题呢？所以在取景和实际拍照过程中，所使用的光圈大小是不一样的，取景时的用的是最大光圈，景深范围会很小，实际拍照时的景深范围肯定是要大于等于取景时的景深范围。当对看到的一切感到满意时，就可以准备拍摄了。

2024-06-10 09:45:53 843

原创引发焦虑的一些问题，以及应对焦虑的一些思考

但现实生活中做事情，不太可能事事都能准备的十分完美，有时准备个7、8分，也就够了，或者边学边做也是可以的，缺什么就学什么，怎么经营亲密关系、怎么教育培养小孩，这些都是需要一直学习的，且谁都不是生来就会的，所以怕没有用，想办法解决问题才是正经的。现在网络信息那么发达，相关信息肯定是可以找到的，毕竟在这个行业积累了这么多年，重新换行业，换赛道还是需谨慎些的，要基于事实，逻辑的判断后再去做决策，另外对感兴趣，想进入的新行业，新赛道的分析也同样适用。3）如果是不打工了，用卖房的钱，在老家做生意什么的，这是可行的。

2024-06-06 23:40:25 639 1

原创关于在逆光场景下，AE调试的相关总结

待ae target确定完以后，再去调整isp pipeline后面的亮度模块，注意也是先bypass后面的模块，比如调试LTM时，要先bypass DCE和LC，另外调试时也要注意先整体再局部。另外在目前的ae 参数中，也包含有其他的一些功能，如测光模式、曝光策略（室内/室外）、曝光权重的设置，这些设置即使有效，但因为设备的使用场景不是固定的，所以也没办法实际使用。类似下图中的场景，左图室内比较暗，看不清植物的细节，而右图要稍好一点，可以看清楚植物的细节，但右图室外其实是过曝的。

2024-06-06 23:32:08 1226 2

原创关于flicker问题的调试总结

1）在曝光时间大于10ms/8.333ms的场景下，可通过补偿曝光时间到10ms/8.333ms的整数倍去解决flicker的问题。2）曝光时间小于10ms/8.333ms的场景下，通过修改帧率为25fps，来规避50Hz工频下的flicker，修改帧率为30fps，来规避在60Hz工频下的flicker。3）修改sensor VTS调整帧率时，要注意避免计算误差；及确认默认的setting真实帧率是多少。进技术交流群，扫码添加我的微信：mudong_771。

2024-06-06 23:28:33 2743

原创关于照相机和镜头的问题总结

和上题类似，这里是比较f/2.8和f/11光圈的进光量差异是多少，根据上面完整的光圈值序列可知，f/11到f/2.8是增大了4级，也就是通光量增加了16倍，所以这题的描述是正确的。1:1比率意味着成像平面上的影像跟实物大小一样，不同的生产厂商使用不同的标准对他们的微距镜头进行命名，造成了某些混乱，一般来说，我们认为下面的术语比较恰当。28mm的镜头是一个广角镜头，它更容易产生透视畸变，而为了使肖像充满画面，拍摄时往往还需要更靠近被摄物体，所以也会加剧透视的效果，所以此题描述是错误的。

2024-06-06 23:24:33 1148

原创关于图像过曝问题的排查思路

3）若不是AE的问题，可以再接着排查是否是ISP当中其他亮度模块导致，要根据 isp pipeline 从后往前依次 bypass 去看，以我司 isp pipeline 为例，其中亮度相关模块处理的顺序是，ltm --> gamma --> lc（local contrast），4）如上确认是哪个模块导致后，再去针对该模块做进一步确认，确认具体是哪个参数导致的，确认当前的参数是否可以优化。因为室外高亮场景一般曝光行走的都比较小，有可能是最小曝光行限制的有问题，没走到最小导致的；

2024-06-06 23:18:46 626

原创同样分辨率的图像, 怎么评判清晰度

因为对于 sensor 而言，决定清晰度的就是像素数，经过降低像素输出后的 sensor，和原生200万 sensor 的像素数相同，只是 pixel size 存在差异，但pixel size 对清晰度不会有影响，它只是决定感光度。所以如果 downscaler 处理的好，他就能从 sensor 输出的数据上保留更多的细节信息，清晰度肯定是优与原生的 200万的。也就是 sensor 原始输出的像素数就是 200万了，和原生 200万像素的 sensor 像素数相同，所以清晰度应该是差不多的，

2024-03-16 20:43:04 876 1

原创关于Camera出图，有竖线问题的排查步骤

我这里的 raw 是在进入 ISP 后 dump 的，那就可以排除是 ISP core 的问题了，所以也就没必要去一个一个 bypass isp core 中的模块去看了，所以有可能就是 ISP 最前面这个做 raw 数据转换的模块出的问题。但就现在此问题来说，第一步做交换模组的排查时，就已经排除了是 sensor 的问题，所以要搞清楚在出流的 pipeline 中，raw 图是从哪里 dump 出来的；1）首先要从客户那边收集一些关于此问题的基本信息，由此来判断问题的严重程度，才好做下一步的计划和安排；

2024-03-16 20:38:34 2744

原创关于图像做 mirror 和 flip 的问题总结

1）做 mirror/flip 前先确定摄像头模组的具体物理位置；2）要保证sensor 输出是正的，可以通过sensor 去做 mirror/flip，保证输出要和24色卡色块顺序保持一致；3）有 mirror/flip 的功能需求时，必须要通过isp、或者其他后处理模块去做，否则会影响tuning的效果。

2024-03-03 15:22:41 1953 2

原创打开 Camera app 出图，前几帧图像偏暗、偏色该怎样去避免？

启流做初始化时，直接写到相应的 sensor、isp 寄存器中，这样用初始化参数输出的图像给到算法时，因为本身就是曝光正常，白平衡准确的，所以 ae, awb 几乎不存在收敛的时间。但对一些机器识别的应用，他是需要逐帧分析的，对稳定出图的速度是有要求的，如果是25fps内才能收敛完成，那对于识别的性能就要差很多了，也是不可接受的。1）最直接的就是优化 ae、awb 的算法性能，即使场景再突变，也可以在2-3帧内就能收敛完成，而不带来任何的副作用，比如震荡，闪烁等等。

2024-02-24 17:26:11 1140

原创图像从暗到亮收敛完成后，会闪烁一下的问题分析

之前的想法是，肯定是和AE算法有关的，当帧率发生变化时，曝光时间和增益都会发生变化，AE会重新计算、重新收敛，所以图像出现闪烁。切换帧率导致的亮度闪烁，算法那边回复应该是曝光和增益写给 sensor 的时间不同步导致的，和AE没有关系，是驱动要保证的。有发现是和开启了降帧有关系，当关闭降帧后，就看不到闪烁了，这里主要分析一下开启降帧后，导致图像闪一下的原因是什么。整个过程是手捂住画面，图像先变暗（会达到降帧阈值，开启降帧），然后手放开，画面亮度恢复，AE收敛完成（降帧恢复）。

2024-02-05 14:46:22 994 2

原创关于镜头选型时的一些注意事项

假如镜头的靶面范围无法涵盖整个 sensor，则成像圈会被看见，实际成像的图像四周会伴随严重的边缘暗角，在这个状态下，视角会被成像范围所限制（如下图左边的情况）。一般我们是先根据产品具体的应用场景，去定义一个合适的景深范围，然后再去对应的景深表上，找到满足景深范围的对焦距离，以此距离来对焦，然后点胶即可。GC4653上，中心：220线清晰，为什么4M 的镜头比2M 的镜头解析力还要小？景深范围是指摄像头在纵向距离上，能看清楚的最远点，和能看清楚的最近点之间的范围，它是可变的，由点胶距离决定。

2024-01-13 15:03:44 2576

原创关于日夜不共焦的问题

有咨询镜头厂，需要告诉镜头厂镜头型号和用的 IR_CUT型号，如果 IR_CUT是等厚的，可以用不等厚的去做补偿，也就是使 IR_CUT的白片与黑片补偿后达到焦距一致。不然调试过程当中遇到许多乱七八糟的问题，如果是镜头，IRCUT，Sensor 不匹配导致的，那就很麻烦。之前觉得是和镜头，及光的波长没有关系，是因为滤光片的折射导致，这两天调试时发现一个问题，改变了这种看法，当我调试黑白夜视模式时，此时是透光片，无可见光，对焦是清晰的。不能在调试一款 Sensor时，随便在网上买一个镜头调试就可以了。

2024-01-13 14:59:51 993

原创 sensor 点亮出图后，画面全黑是为什么？

关键是应该先提供模组的 spec ，或者先了解一下他这个产品的应用，或者拍个产品的图片看看，也就大概有个了解了，这是欠考虑的地方。对于这种补红外的摄像头来说，主要是滤光片的差异，他是把可见光给过滤掉了，所以在可见光下面看，出图肯定就是黑了。这里要注意，如果是红外补光，那就没必要需要颜色了，要在效果参数中将饱和度，色彩相关的参数都置 0 才是。后面他突然反馈，问是不是出图就是这样的，他是带红外补光的，这是我没有考虑到的。后面让他试了下，打个红外灯看下，画面就亮了，但出图是紫的，

2024-01-06 20:56:02 846

原创关于 bringup sensor 时，曝光时间异常的问题排查

见下图是 sensor datasheet 中关于曝光寄存器的说明，所以我读出的 3e00, 3e01, 3e02的寄存器的值，正常的应该是在 1-2390 之间，下图定义了最小曝光行是1，最大曝光行是 2*vts-10 = 2390。后面检查看到，这颗 sensor 是半行曝光，但我配置给算法的 vts(帧长)的值，是默认的1200，实际应该乘以2，配置2400行才对，所以导致曝光时间增加了1倍。因为同样的环境我用接其他sensor 是没问题的，那应该就还是我驱动中返回给算法的曝光参数的配置有问题。

2024-01-01 21:18:02 1191

原创关于镜头景深的计算

比如之前调试的一款化妆镜的设备，客户反馈了一个运动模糊的问题，后面才知道，他搭配模组的景深范围只要10cm，3）弥散圆直径，是 pixel size x 2，我的理解是这就是容许弥散圆直径，根据奈奎斯特采样定理，弥散圆，在焦点前后，光线开始聚集和扩散，点的影像变成模糊的，形成一个扩大的圆，这个圆就叫做弥散圆。4）入瞳直径，是 f / Fno，就是有效通光孔径 D，光圈的计算公式是，Fno = f /D。容许弥散圆，如果弥散圆的直径大于人眼的鉴别能力，在一定范围内实际影像产生的模糊是不能辨认的，

2024-01-01 21:10:10 2095

原创 exposure_line 是如何曝光的 ?

实际调试过程中，在室外高亮的场景下我们看当前曝光行可能就几行，但暗环境下曝光行会走满，曝光不够了，还会接着走 sensor gain。第一行先reset，接着就开始曝光，当一直曝光11行后（看示意图可以理解成曝光11次，每次1行），不知道怎么理解，是曝光到1500行，然后继续在1501，继续曝光，一直循环，是这样理解的嘛？曝光行是一个相对时间，他就是一个时间单位，和秒，毫秒一样的，都是用来表示曝光时间的单位。1帧图像用积分时间11行完成了10ms的曝光，这里假设1行的曝光时间是0.91ms。

2024-01-01 21:05:34 896 2

原创关于图像清晰度、通透度的描述

分辨率（Resolution）描述的是对空间细节分辨的能力，又称分辨力、鉴别率、鉴别力、分析力、解像力和分辨本领，下面是一组通透度的场景对比，这个场景是在相同照度下，相同镜头，使用 IMX334 抓取的图像。造成不通透的原因虽然多种多样，但是表现的形式是一样的，表现为：照片发灰、发朦。比较显而易见的就是图像的清晰度和通透度，他们决定了评判者对画质的第一印象。清晰度是分辨率和锐度的综合表现，也就是，清晰度 = 锐度+分辨率。这是本文要描述的内容。左边的图像发灰、发朦，右边的图像相比就要通透许多。

2023-12-10 21:30:59 1440

原创关于 raw 图像的理解

但遇到过有些 raw，用工具打不开或者出图不对的情况，那可能是因为 raw 的存储格式不同导致，本文主要对 raw 的格式做下介绍说明。这个主要看平台厂商对数据处理有什么要求，我司用的是高位对齐的数据，所以读取时，要有相应的移位操作才行。raw 一般分为 plain raw 和 mipi raw，主要是存储方式上的区别，如下图所示是 Plain raw10 的示意图。那就会空出 6位用不到，因为有空余，这里就涉及到一个高位/低位对齐的问题，也就是存储数据时，右移6位低位对齐（如下图1所示），

2023-11-26 21:27:45 1948 1

原创拍照打闪光灯，图片出现亮度分层的原因分析

所以当限制了最小曝光行后，sensor 曝光一帧完成的时间就变短了，这时应该就小于打闪光灯闪的时间了，此时 sensor 在闪光灯闪的这个时间段内就可以完成一帧图像的曝光，所以出图就正常了。所以第一次1-2s的常亮状态，这个时间段就可以计算出正确的3a信息，到第二次闪时，直接把保存的正确的3a信息写入就好了，所以这样就不会存在曝光没完成的情况了。而拍照打闪光灯时，如果闪光灯闪的时间太短了，小于了 sensor 曝光一帧完成的时间，那就会导致图片上曝光完成的部分是亮的，未曝光的部分则是暗的。

2023-11-11 13:20:40 939 1

原创 Sensor 点亮出图后，颜色偏红或者偏绿是为什么？

而不同 sensor 的 balck level 的值是不一样的，所以导致图像偏红是因为 balck level 扣的少了，偏绿则是 black level 扣的多了。这是因为 sensor balck level 的值配置的不正确导致，black level 的值一般在效果参数的 calibration 参数里面。对应的 balck level 十进制的值是50，12bit 输出时，对应的 balck level 十进制的值是200。

2023-11-11 13:12:31 1524

原创镜头边缘的解析力通常比中心差很多的原因是什么？

就是实际像与理想像之间的差异。对于理想的成像系统，是点物成点像，从物体的一点发出的光，通过透镜后，在一点汇聚而成像。但实际对于普通的透镜而言，光是不能汇聚于一点的，这种现象叫做像差。

2023-10-21 11:53:18 1266

原创使用不同尺寸的传感器拍照时，怎么保证拍出同样视场范围的照片？

这是本文要分析的问题。胶片时代，我们使用最多的是编号为135型胶卷底片（感光区域范围36*24mm），摄影厂商就以此为规范设计镜头和机身，数码相机的感光元器件，面积的大小成本差异很大，和135胶卷面积相同的ccd或者cmos为全画幅。如下图所示，物高实际分轴上和轴下，所以上式要乘以2，得到：Y = x * D/f（基于实际应用，物体在无限远处，焦距的长度忽略不计，光心到传感器的距离就是焦距），Y就是最大像高，也就是视场范围。这时焦距决定了拍照时的视场范围，焦距越大，视场范围越小，焦距越小，视场范围越大。

2023-09-29 09:43:01 1060

图像质量客观测试标准.docx

空空如也