数字成像系统笔记

最新推荐文章于 2024-07-01 11:24:18 发布

dullhero

最新推荐文章于 2024-07-01 11:24:18 发布

阅读量5.8k

点赞数 16

分类专栏：数字成像系统

本文链接：https://blog.csdn.net/nerohero/article/details/108536811

版权

数字成像系统专栏收录该内容

0 篇文章 4 订阅

订阅专栏

imaging algorithm specialist staff image quality engineer
在这里插入图片描述

在这里插入图片描述

cmos sensor

在这里插入图片描述

color science

在这里插入图片描述

3A

狭义3A：自动曝光自动对焦自动白平衡
广义：整个相机自动控制
在这里插入图片描述
iris 光圈
ISO 感光度
Flash 闪光灯
ND Filter中窥镜（外部感光特别强）
Laser（与AE AF都有关）
IR 红外

shutter快门
Zoom
Spot
Focus Motor 对焦，马达控制

Cloor Temperature 色温

输出：亮度，光源，距离，位置，深度，运动，方向，人脸

在这里插入图片描述

blacklevle linearity

在这里插入图片描述
去底电流，噪声。也是线性化基础。

不同增益不同温度对黑电平都有影响。

线性化做的不好，会导致整体颜色偏差。

Green Imbalance

GB、GR不平衡会导致小格子，“迷宫格”
一般采用动态校正

在这里插入图片描述
采用周围4个各自的G值，进行判断，最后进行查找表对当前G 进行调整。

坏点消除

原因：
sensor工艺：灰尘，电子寿命
noise：sensor gain太大，湿度增益高

坏点：静态坏点、动态坏点。静态坏点基本是工艺，动态坏点基本是noise

也可以分
hot pixel：比周围点亮很多
dead pixel：比周围点暗很多
weak pixel：没有提供正确像素值，但是没有比周围点特别亮或特别暗。

坏点的分类和类型（指的是单通道上3x3平面上出现的）
单坏点、双坏点、多坏点
在这里插入图片描述

在这里插入图片描述
静态坏点一般在sensor中做，ISP也可以做。

坏点消除指标：1、不能损失原有图像细节 2、能够去除所有坏点 3、不能引起artifact（不自然效应）

在这里插入图片描述
静态坏点消除的坏点修正基本采用的都是中指滤波

使用方向梯度判断方向。例如，G4-G6最小，那么就是水平方向，G2-G8最小则为垂直方向。

corner case
1、噪声影响
高噪声（坏点校正调试时根据ISO进行调试）
2、高亮的孤立点（例如LED点阵列）
3、分辨率卡等（例如密集条纹）

lens shading

luma shading：lens的各位置和中心的透射率不同
color shading：
1、lens对不同光谱的shift不同
2、IR filter（红外滤波片）：lens对不同光谱的shift不同。滤掉近红外光和更高的红外光。

sensor vignetting也会导致luma shading和color shading，但影响比较小。

表现为：图像边角和中心点像素值不一样。

结论：（1）对于定光圈镜头来讲，色温是影响color shading的主要因素。
（2）任何shading，都可以通过当前像素乘以gain的方式来进行校正。
在这里插入图片描述
luma shading表现为：亮度有渐变，中心和周围不一样。从右边看出中间亮度高，周围亮度低。

在这里插入图片描述
展示图实际为灰图，即R=G=B。右下图为正常情况表现，右上图可以看出RGB不一样R>G>B。
color shading表现为：整个图像中有色偏，而且不一致。比如：中间发绿，周围发红。

在这里插入图片描述
左侧为luna shading评定，右侧为color shading评定。
color shading比luma shading标准严格，因为人对色度比较敏感。

在这里插入图片描述
shading correction几种模型方法
1、radial shading correct
gain_r1=r1/R*gain_radial

2、mesh correction
（1）线性差值
在这里插入图片描述
通过点与四个角的距离算出权重w。
w1Gain1+w2Gain2+w3Gain3+w4Gain4
（2）用logN，或多次方程拟合

3、auto shading correction
图像分成多个块，图只为简单例子。统计各个块色温。然后进行比较判断使用哪个gain使得各个块比值接近相同。
在这里插入图片描述

raw denoise

降噪也可以放在YUV。
放在raw denoise的好处：噪声是可测量的并且不会改变（模型可观）的。
raw域噪声一般随着亮度增大而增大。

在YUV处的降噪模型，不好用公式模型估计（没什么规律）

结构化噪声：在demosaic时，不同的边缘强度差值的方向以及插值的方式都会不一样，进而会导致噪声的成都和形态与当前像素所处的结构等有关系。
raw denoise的相关启发
1、raw denoise的噪声不是单纯的高斯噪声，而是和亮度有关的。
2、在raw denoise进行一定程度的降噪，对于图像质量会有很大的提高，比如结构性噪声。
3、在raw denoise设计降噪算法会稍微容易一些，参考noise profile，在不同的亮度进行不同强度的降噪，或者把噪声归一化，有利于保护细节。
4、noise profile并不是单纯用在denoise这一个模块上，还可以用在时域降噪、demosaic等模块上。
（实际使用时，不一定在raw domain降噪，很多ISP也都是以YUV domain降噪为主体）

降噪的评价标准：
PSNR
SNR
CPIQ（ISO 15739 noise）
枯叶图（降噪时要关注中低频的噪声。）
SNR的标准是：db越高，降噪程度越好。但SNR不能绝对代表图像好坏。

Dynamic Range 与Tone Mapping

DR 动态范围：图像表示信息量
最大亮度除以最小亮度
在这里插入图片描述
TM 动态范围压缩（高bit图像压成低bit图像，但视觉无损）

常见算法分类：
1、global tone mapping（单一曲线、双边滤波）
2、local tone mapping（虚拟曝光、local gamma）现在常用的方法
虚拟曝光：google/VIVO/OPPO常用
local gamma：将图分成N块，每一块单独统计直方图。然后拉出gamma映射

HDR图像来源：将多个曝光下的图像合成，低bit变成高bit。

tone mapping问题
1、局部对比度缺失（global容易导致的问题）
2、饱和度降低
3、halo（local容易导致的问题）
4、时域不平滑
5、会引起噪声的增大
6、tone mapping是个系统工程，且和应用领域有关。

Demosaic

color filter array：色彩滤镜阵列，不用滤镜吸收不同光谱。但是用这种方法如果对每个pixel都获得三个通道的光强的话，则需要对每个pixel都应用三个滤镜，成本过高。这种方法不需要demosaic。
bayer filter：50%绿，25%红，25%蓝。在间隔的pixel上方单一颜色滤镜，这样以来，每个通道能得到一个部分值空缺的图片，这些空缺的值可以通过各种插值手段进行填充。

demosaic步骤：
1、判断插值方向
2、在判定的方向上进行插值
3、后处理（可选）

基础点：
1、Green-based demosaicking。对G是横向、纵向插，挑选最优，然后用此结果插值RB。
2、Edge-based demosaicking
3、相关性原理

插值方法：色差恒定法，即R-G ，B-G的值是连续的。R5-Gr5=R4-Gr4

demosaic难点：1、摩尔纹 2、noise。放大噪声、会影响判断 3、模糊 4、false color

color reporduction

color model： RGB，色彩的基本元素描述色彩模型。
加性色彩系统
相机和人眼

SMYK：
减性色彩系统
打印，印刷

color correction

CCM目的：（主观提高曝光度）
将camRGB色彩空间转换为sRGB色彩空间。camRGB->XYZ->sRGB
sRGB->XYZ是已知的，按照CIE国际照明委员会。

CCM评价标准：
通过CIE LAB色彩空间来计算color error

CCM注意事项：
1、饱和值处理，饱和值一般不建议处理
2、CCM一般在gamma前面

CCM计算方法
1、24色色卡对应的srgb求逆gamma，然后作为target
2、求得输入图像24个色卡每个patch对应的额R G B mean
for color error < th
3、设置ccm matrix初始值
4、计算color error
if（color error<th || color error达到最小 || 迭代次数>n）
break;
else
5、计算新的ccm matrix值
end
end

调试CCM注意事项：
1、曝光正常
2、CCM会增强彩噪，在高ISO时需要降低ccm的saturation，甚至关闭CCM。
3、gamma变动时，ccm也需要跟随自己变动。

CCM缺点和3D lut的优势
1、ccm是线性的，但是色彩转换不一定是线性的。

3D-lut基本原理
每一个亮度有一个对应值（3维坐标）
由于坐标太多，不可能全部保存，所以划分成若干个8x8x8块，保存各个顶点值，块内的值通过插值得到。
在这里插入图片描述

Gamma与对比度增强

在这里插入图片描述
为什么gamma矫正：
1、韦伯理论（JND）：人眼的视觉是非线性的，并且人眼对暗部的变化更加敏感。
2、存储、传输、显示图像的手段是有带宽限制的。
因为人眼对暗区的变化更加敏感，所以在存储的时候应该给暗区更大的带宽。
通过gamma矫正，可以将存储的位宽更多的分配给暗区，然后在显示端再做反gamma矫正，将图像重新变成线性的。
encoder gamma和display gamma相乘不一定为1。

gamma对亮度、色彩的影响
1、gamma会降低色彩的饱和度。
2、不同gamma导致亮度变化
3、gamma与色彩空间

动态gamma校正与contrast：
在这里插入图片描述

sharpening锐化

图像锐化的主要目的有两个：

1.增强图像边缘，使模糊的图像变得更加清晰，颜色变得鲜明突出，图像的质量有所改善，产生更适合人眼观察和识别的图像；
2.希望通过锐化处理后，目标物体的边缘鲜明，以便于提取目标的边缘、对图像进行分割、目标区域识别、区域形状提取等，进一步的图像理解与分析奠定基础。

图像锐化一般有两种方法：
1.微分法
2.高通滤波法
这里主要介绍一下两种常用的微分锐化方法：梯度锐化和拉普拉斯锐化。
注意：由于锐化使噪声受到比信号还要强的增强，所以要求锐化处理的图像有较高的信噪比；否则，锐化后的图像的信噪比更低。

在这里插入图片描述
sharpening注意事项：
1、针对不同行业，调节合适的overshot和undershot，并保证MTF等达到要求
2、sharpening尽量不要增强噪声
3、不能引起nyquist以上的频率出现artifact
4、sharpending的边缘尽量平整，均匀。
5、sharpending和focus/MTF等互相影响，因此在测试一个时，需要控制好其他变量。