画质调优-ISP相关知识

参考资料-网站

大话论坛--->大话成像技术论坛 - Powered by Discuz!

ISP博客-------->ISP基本框架及算法介绍_大熊背的博客-CSDN博客_isp开发

速览知识点

1：sensor一般由cmos感光元件构成，可以将光信号转化为电信号，人眼中所能观测的颜色由RGB三种基色构成，因此每个感光点放置三种颜色的透镜以透过相应颜色的光并通过投过的光子的强度生成相应的数据，但每一个感光点只能够接收一种颜色光的强度，这样会导致另外两种颜色数据的缺失，因此采用了bayer阵列，即每四个感光点组成一块，按照G R B G的顺序进行排列，因为人眼对绿色较为敏感，因此才用了两块G，此时所获得的图像就是RAW图像，但整体偏暗且呈现马赛克的效果，因为每一个pixel只保存了一个基色的数据，要想完整地呈现人眼所看到的颜色，每一个感光点必须要获得另外两种颜色的数据，通常一般采用插值法，即将R G B单独拿出分成三个平面，并通过插值进行填充，这样每个像素点就可以获得三种基色的数据，这里通过图片理解更为直观；这里还涉及到一个比特深度即用几bit去描述一个颜色 ，例如8bit即0--255级来描述颜色，比特深度越大，描述颜色越精准；

插值的过程就是Demosaic（去马赛克），去马赛克可以将RAW图像转化为RGB格式；

2：ISP一般用来处理sensor直接输出的RAW数据，例如3A ，demosaic， bpc ，gamma，black leavel etc；

ISP pipeline

3A

AWB

1：人眼在不同的光线下，对颜色的感知能力基本相同，这是因为人眼的颜色常驻性，大脑对颜色的认知有了一定的适应性，但sensor并不能实现这一功能，因此在不同的光线照射下，sensor所记录的颜色数据就会产生一定的偏差，也就是偏色，所谓的白平衡也就是去除环境光的影响，把不同色温下的白色经行校正，也就对所有颜色进行了矫正，从而还原物体的真实色彩；

2：色温--光源光色的尺度，

AE

1：所谓曝光就是快门从关闭到打开再到关闭，seneor在这期间成像的过程，这段时间也被称为了曝光时间；

2：感光度ISO--传感器对光线的敏感程度，可以通过电子元件的放大增益来实现ISO调整；

3：影响曝光的三个因素：曝光时间 光圈 感光度；

4; AE首先会估计当前场景的亮度，再调节三个影响因素使得图像的亮度与预设的，目标亮度一致；

5：

 存储格式

1：RAW--RAW是sensor直接输出的格式未经过处理，表示sensor接收到三种光的强度，一般有00：GR/BG 01：RG/GB 10：BG/GR 11：GB/RG四种，ISP只有知道raw的存储格式才能对其进行处理；

2：RAW一般由以下几种格式：

RAW8--用8bit表示一个分量；

RAW10--用10bit表示一个分量，但一般耗费2B高6位无用；

RAW12--用12bit表示一个分量，但一般耗费2B高4位无用；

1 数字成像系统介绍

1：ISP-image signal process DSP-digital signal process

2：成像系统， 变焦马达可以自动转换镜头的焦距以确定取景范围的大小；对焦马达可以自动对准被拍物体使之清晰。

3：成像两条主线-勾画正确景物-还原色彩；

4：

 

2 Cmos image sensor

2：SNR-signal noise rate

3 光学基础

1;refraction折射 focal length焦距 deap of filed景深 aperture光圈

4 颜色科学基础

1：颜色科学三个基本要素：光源 物体 感受者；

2：光源属性：色温 光谱 白点

5 ISp信号处理基础

6 3A概述

1：3A（auto focus auto exposure auto white balance）在系统中的作用是什么？----感知现实环境，正确的配置相机，为其他的处理提供参考信息。

2：

7黑电平与线性化

1：黑电平black leveal correction：光电二极管即使没有光照也会有电压，所以需要Optical black correct即光学暗区校正来将暗电流减去；这部分暗电流也称为黑电平

2;因为暗电流的存在，我么所得的图像并不是真实光电转换后的图像，为了得到真实的图像我们需要减去balck level

sensor成像颜色偏红或者偏绿

原因：black level不对，偏红是balcklevel扣的较少，偏绿是black level扣得多了；

8 Green imbalance

 1：绿道平衡，模组的一种缺陷，由于半导体工艺和microlens的原因（常见的如光电二极管的排列、CFA的不均匀性、镜头的镀膜、放大器的问题等等），导致相邻的Gr和Gb像素差异较大的现象；

2：会导致图像出现迷宫纹；

3： GreenImbalance = mean(mean(100.*abs(Gr-Gb)./(Gr+Gb)/2)))，指标越小越好；

4：

9 坏点消除

1：坏点产生的原因：工艺或产品自身的寿命---->静态坏点，温度升高，sensor gain（传感器增益）增大----->动态坏点;

2:hot/dead pixel 比周围亮/暗很多的坏点 weak pixel 像素值不对;

3:

10 vignetting and colour shading

1：lens shading可以细分为 luma shading（亮度均匀性）和color shading（色彩均匀性）两种；

2; Luma shading就是我们常说的暗角，即图像图像呈现出中心区域较亮，四周偏暗的现象，Color Shading则表现在图像中心区域与四周颜色不一致，即图像的中心区域或者四周出现偏色;

3:导致的原因：主光轴不同，sensor对各部分光的转换不同；

4：任何shading，都可以通过当前像素乘以gain的方式来进行校正；

5:与AWB是相互影响的关系；

11 SNR and raw denoise

1：raw denoise 原始去噪

2;

12DynamicRangeToneMapping

13  MTF Demosaic

1:color filter array 其实就是一个对现实场景的信号采样，Demosaic 就是恢复出原始信号的办法,将bayer转化为RGB；

2；CFA（color filter array） 例如Bayer array：拜耳阵列传感器采样生成的图像要输出我们常见的全色彩图像必须经过反马赛克运算；

3：香农采样定理：要想完全的复现信号，采样频率要大于两倍的信号最大频率；

4：因为bayer采集到的raw数据会有空缺值，即每个像素只有一个色彩数据，但最终还原图像需要RGB三色数据，这是需要色彩差值， 每个像素没有采集到的色彩，可以通过周边的对应色彩值进行一定的运算获得。

5： DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素点上覆盖着 CFA，光线通过 CFA 后照射到像素上。CFA 由 R、G、B 三种颜色的遮光罩组成，每种遮光罩只允许一种颜色通过，因此每个像素输出的信号只包含 R、G、B 三者中的一种颜色信息。SENSOR 输出的这种数据就是 BAYER 数据，即通常所说的 RAW 数据。显而易见，RAW 数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC 就是通过插值算法将将每个像素所代表的真实颜色计算出来。

6：demosaic难点：摩尔纹，噪声，模糊，flasecolor

14 色彩空间与色彩重建

1：色彩空间-color space-色域例如RGB

2：

15color correction matrixand 3D lut

1：ccm色彩校正，用相同的方法改变图像中的所有像素的颜色值，以得到不同得显示效果。图像采集系统在获得数字图像时，由于一起或环境光照或人为因素的影响，采集的图像往往与原始图像有很大差别。颜色校正可以在一定程度上减少这种差别；

2：ccm目的：将camera rgb 色彩空间转换为sRGB 色彩空间，camera_rgb -> XYZ -> sRGB；srgb颜色更多

3：ccm一般在gamma校正前面，因为只保证在gamma后成为srgb色彩空间

 

4：

5：ccm是线性的，但是色彩转换不是线性的；

6： LUT-Look-Up-Table，既显示查找表。本质是一个RAM，每当输入一个信号就是输入一次地址进行查表，找出地址对应的内容并输出，对于显示器来说能起到颜色空间转换的作用；类似于hash table

7：这里用到的3D-lut即三维查找表，因为RGB三色构成三维查找表

16  Gamma

1;伽马校正：输入亮度和输出亮度的非线性校正，因为人的视觉是非线性的；

2：通过gamma 矫正，可以将存储的位宽更多的分配给暗区，然后在显示端再做反gamma 矫正，将图像重新变成线性的

3： 在 gamma 值已知的情况下 ,倘若为0 ～ 255 之间的任一整数,经过“归一化预补偿、反归一化”操作后, 所对应的结果是唯一的,并且也落在0 ～ 255这个范围内，即可以直接建立LUT表进行快速查找；

4：

17sharpening

1:MTF(modulatiopn transer function)光学传递函数；

2：锐化-细节增强；

18 color space conversion

1:Color space conversion--CSC   Color space matrix--CSM

2:

19 空域去噪

1:去噪：通过线性滤波器和非线性滤波器的模糊处理可以减小噪声；

2：https://blog.csdn.net/jindayue/article/details/112463799?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165363283916782350971266%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=165363283916782350971266&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-112463799-null-null.142

20 时域去噪

21 coloraberrance

1;色散与去紫边；

2：纵向色差于横向色差：由于镜头对不同波长的光线放大程度不同而形成；

 22 isp统计信息

1：

23 AE

---->3A+ISP之AE篇_sunshineywz的博客-CSDN博客

1：AE 模块实现的功能是：根据自动测光系统获得当前图像的曝光量，再自动配置镜头光圈、sensor快门及增益来获得最佳的图像质量。自动曝光的算法主要分光圈优先、快门优先、增益优先。光圈优先时算法会优先调整光圈到合适的位置，再分配曝光时间和增益，只适合p-iris 镜头，这样能均衡噪声和景深。快门优先时算法会优先分配曝光时间，再分配sensor增益和ISP 增益，这样拍摄的图像噪声会比较小。增益优先则是优先分配sensor增益和ISP 增益，再分配曝光时间，适合拍摄运动物体的场景

2：AE输入当前影像的Y值，输出为sensor的曝光时间和增益，isp增益和镜头光圈，当AE得到当前Y值后便与目标y值进行比较，然后计算出下一次需要进行调整的参数，形成闭环控制，从而让影像的亮度调整到接近目标的y值（一个range）；

3:影响AE算法的因素图片亮度的统计，AE target，AE table，收敛速度控制；

4:实际操作中调节的因素有：

调节曝光时间；

调节光圈大小；

调节Sensor的ISO感光度;

5:调节曝光的方法步骤和算法：

A.读入现在设定值所得到的亮度值；

B.经过AE weight table后得到我们想要计算的亮度；

C.将得到的计算值，趋近我们的期望值（如：135）；

D.计算出一组新的设定值；

E.重复以上动作，直到亮度值在我们的期望值收敛范围内(Example : 131~139)。

24 AWB

1: 人类视觉系统具有颜色恒常性的特点，因此人类对事物的观察可以不受到光源颜色的影响。但是图像传感器本身并不具有这种颜色恒常性的特点，因此，其在不同光线下拍摄到的图像，会受到光源颜色的影响而发生变化。例如在晴朗的天空下拍摄到的图像可能偏蓝，而在烛光下拍摄到的物体颜色会偏红。因此，为了消除光源颜色对于图像传感器成像的影响，自动白平衡功能就是模拟了人类视觉系统的颜色恒常性特点来消除光源颜色对图像的影响的。

2:核心是判断图像的色温，再校正一下即可，从理论上来说，把白色矫正了，其他颜色也校正了；

3:色温-----把绝对黑体加热到一定温度时发出的光与某光源发出光的光谱成分相同，就把此时绝对黑体的温度称为色温；

 

4：自动白平衡一般通过三个步骤来完成：

1：首先根据输入图像来根据光源的色温

2:然后计算RGB三通道的增益

3;最后自动调整增益值对输入图像进行校正；

5：自动自平衡方法主要分为两大类 第一类是基于图像统计特征的方法，包 括灰世界法、白斑法、灰边缘法等 这类方法效果明显、计算简单，是目前摄像机中常用的方法 第二类是基于学习训练的方法 这类方法需要通过训练集学习得到关于光照的先验信息，然后再对未知光源下的色光进行估计，主要包括基于贝叶斯的方法、色域匹配 Gamut Mapping) 法以及本书提出的基于数据驱动的方法。这类方法计算复杂， 但是准确度相对较高,现在的AWB算法大多为基于假设的算法,

--->https://blog.csdn.net/weixin_44690935/article/details/118888540?spm=1001.2101.3001.6650.6&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-6-118888540-blog-82013946.pc_relevant_scanpaymentv1&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-6-118888540-blog-82013946.pc_relevant_scanpaymentv1&utm_relevant_index=10

25 AF

1: 自动对焦是利用物体光反射原理，将反射的光被相机上的传感器CCD所接受，通过计算机处理，带动电动对焦设备进行对焦的方式叫做自动对焦。

2：

物距：物距是指物体到透镜中心的距离，一般用表示u表示。

像距：像距是像（CCD传感器）到平面镜（或透镜的光心）之间的距离，一般用v表示。

焦距：镜头的焦距基本上是从镜头的中心点，到形成清晰影像镜头胶片或数码CCD之间的距离。

凸透镜：凸透镜是跟据光的这声原理制成的。凸透镜是中央较厚，边缘较薄的透镜。凸透镜分为双凸、平凸和凹凸（或正弯月形）等形式，凸透镜有会聚光线的作用故又称会聚透镜，较厚的凸透镜则有望远、会聚等作用，这与透镜的厚度有关。远视眼镜是凸透镜。

景深：当你拍摄一个照片，照片当中最近的物体和最远的物体之间，能清晰成像的部分，就是景深，如果是简单的透镜景深是固定的；

3：自动对焦基本原理是：对焦过程中图像仍在一直不断产生，把镜头在某个位置时的那帧图像送到图像处理器（ISP）处理，得出该图像的统计信息，再把这信息送到对焦算法库（也许是在isp硬件上执行，也许是在驱动程序软件执行），对焦算法库根据硬件规范和上述统计信息算出下一步镜头该往哪个方向移动多少距离，并驱动镜头到达那个位置；接着在此位置得到新图像，又计算统计信息，计算再下一步的镜头位置…图像清晰度渐渐变化，如此经过几个循环收敛，图像到一定程度，就认为对焦成功。

https://blog.csdn.net/weixin_44690935/article/details/114933962?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-114933962-blog-106242406.pc_relevant_paycolumn_v3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-114933962-blog-106242406.pc_relevant_paycolumn_v3&utm_relevant_index=2

26 flash

27 HDR

1：high dynamic range 高动态范围图像：提升最亮和最暗画面的对比度

2：

3:sensor的动态范围就是sensor在一幅图像里能够同时体现高光和阴影部分内容的能力;

28 EXIF DNG

29 Encoder

30图像防抖

1:

2：

31 图像质量评价工具与方法

1：

32 画质调优