【笔记】Sensor HDR原理学习

sensor hdr原理

1. 什么是sensor 的动态范围（dynamic range）：

sensor的动态范围就是sensor在一幅图像里能够同时体现高光和阴影部分内容的能力。

用公式表达这种能力就是：

DR = 20log10（i_max / i_min);//dB

i_max 是sensor的最大不饱和电流----也可以说是sensor刚刚饱和时候的电流

i_min是sensor的底电流（blacklevel） ；

2. 自然界中的真实情况，有些场景的动态范围大于100dB，人眼的动态范围可以达到100dB。

sensor 的动态范围：高端sensor >78 dB、消费级 sensor 60dB左右；

3. 动态范围公式

DR = 20log10（i_max / i_min); //dB

提高动态范围，从数学本质上来说，即为 提高i_max，减小i_min。

对于10bit输出的sensor来说，i_max最大为1023，i_min最小为1，即DR=60dB；12bit的sensor的最大动态范围是72dB。

数学上来说，只需要增加bit可以有效的提高sensor的动态范围，但是实际上，提高sensor的bit width，不仅导致sensor的成本提高，整个图像的带宽都相应提高，消耗的内存也相应提高，这样会导致整个系统的成本大幅提高，所以需要寻求其他不需要增加消耗和成本的，解决HDR问题的方案。

一般来说，有三种主流sensor HDR的硬件方式：1.行交织HDR、2.Dual Gain、3.Dual Gain+行交织 HDR

一、行交织HDR

传统CMOS的卷帘式快门通常需要在上一帧曝光读取完成后，再进行下一帧的曝光。也就是说两帧之间间隔为：第一帧曝光时间+传感器完整读取第一帧时间。弊端是，第一帧到第二帧的时间间隔太长，容易产生拖影和合成异常等问题。

行交织HDR的原理：当CMOS每一行像素曝光完成并读取后，立刻开始下一次曝光；例如：第n行完成曝光并读取完成（long 曝光），立刻进行第二次曝光（short曝光）；此时第n+1行也进行该操作。

看起来就像是纺织里的纱线穿插一样，所以称之为：行交织曝光技术。由于两帧读取时间间隔大大缩短，伪影和拖影现象大大改善

演示图如下：

①DOL-HDR

CMOS输出三张不同时间的图像，在经过ISP多帧融合图像处理后生成HDR图像。

也叫做时域多帧HDR技术，简言之就是CMOS在是时间上连续输出三帧图像，即short、medium、long曝光。

融合后的HDR图像

典型的计算方式会根据亮度、对比度、动作以及色彩等条件做出融合计算

DOL原理演示图如下

DOL2： sensor完成一帧曝光，sensor生成2幅图像，图像传输到ISP，ISP再将两幅图像合成为一帧图像（两帧融合）

DOL3： sensor完成一帧曝光，sensor生成3幅图像，图像传输到ISP，ISP再将两幅图像合成为一帧图像（三帧融合）

理论上，相比于行交织HDR，DOL-HDR在大光比和宽动态范围场景有着更好的表现。但时域多帧HDR也存在特有的IQ问题，例如：HDR Transition Artifacts。

在HDR拼接处有明显的拼接断层，是因为SNR的明显变化，称之为SNR-drop。当曝光比越大，SNR-drop越大，断层越明显。

二、Dual Gain

一个典型的CMOS感光元器件（内置ADC），输出图像的过程可以概括成以下几步：

4. 光电二极管吸收能量并被激发，产生电子

5. 电子进入电荷阱

6. 断开光电二极管连接（中断感光），电荷阱（本质是一个电容）两端会有一个电压

7. 电压太弱，需要进行一次模拟放大，一般使用程控电压放大器（PGA）

8. 放大后的信号进行模数转换（ADC）

当电荷阱达到满阱容量（Full-Well-Capacity，FWC）时，即意味着过曝，过曝输出的图像就是纯白。Dual Gain的原理就是通过调整Gain获得不同的曝光值，从而完成HDR。改变Gain值的位置不同，涉及的技术也不同。改变增益的方式通常是以下两种：1.双原生ISO技术（Dual Gain Amplifier）、2.双转换增益技术（Dual Conversion Gain，DCG）

1. 双原生ISO技术（Dual Gain Amplifier）

Dual Gain Amplifier该技术是在电路中提供了两条电路，两条电路的增益大小的PGA不同，可以输出两个不同增益的信号。改变了模拟增益，相当于改变了ISO，因此也称为双原生ISO技术

2. 双转换增益技术（Dual Conversion Gain，DCG）

通过调整不同的阱容获得不同增益的曝光值，即为双转换增益技术。即像素拥有两个不同的FWC，在小FWC时，底噪较小，对应着高增益；相反，在大FWC时，底噪大，对应着低增益。

三、Dual Gain+行交织 HDR

在行交织HDR和Dual Gain的基础上，OV研发了一种可以实现同时读出dual gain，可以同时读出一个更亮的图像和一个更暗的图像。

第一帧曝光可以使用同样的曝光时间，同时读取高增益（High Conversion Gain，HCG）和低增益（Low Conversion Gain，LCG）两帧画面，从而实现长曝光和中曝光的效果；-->Dual Gain

第二帧曝光使用DOL-HDR补充短曝光即可。-->行交织HDR

当光比不大的时候，可以只用Dual Gain获取长曝光和短曝光，这样做可以换取更短的迟滞，进一步改善对运动物体的拍摄效果。

文章转载1：https://blog.csdn.net/nyist_yangguang/article/details/123094698?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167782419916800184110944%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=167782419916800184110944&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~pc_rank_34-2-123094698-null-null.142^v73^pc_new_rank,201^v4^add_ask,239^v2^insert_chatgpt&utm_term=DOL%20HDR&spm=1018.2226.3001.4187

文章转载2：https://www.cnblogs.com/wujianming-110117/p/12684011.html