HDRplus ——简述（一）

HDR plus——简述（一）

论文网站：http://www.hdrplusdata.org/

摘要

手机摄像头动态范围受限的原因：

	描述
光圈	光圈小，限制收集光子的数目，暗光下图像具有噪声
像素	像素小，限制每个像素可以存储的电子的数目，限制动态范围

本文对动态范围的优化：提出pipeline系统，能够捕捉、对齐、合并一个burst的画面，减少噪声，增加动态范围。

系统有几个使得系统更鲁棒、更有效的关键特性：

关键特性	描述
不使用包围曝光	连续低曝光，对齐更加鲁棒，且避免blow out。merge后的图片具有清晰的阴影和高bit depth，可以应用标准的HDR tone mapping方法
处理bayer raw而不是RGB或YUV	每个像素更多的bits，规避ISP不需要的tone mapping和空间去噪
混合2D/3Dwiener滤波	基于FFT对齐算法，混合2D/3Dwiener滤波

1 介绍

拍摄场景会影响照片质量：

拍摄场景	问题	解决办法
室内或夜间	场景光线不足	应用数字或模拟增益，放大噪声 延长曝光时间，由于相机抖动或主体运动导致运动模糊
白天拍摄高动态照片	为了避免高光blowing out，会选择减少曝光时间，阴影区域的光线不足	阴影区域可以使用local tone mapping 来增亮，但同时放大了噪声

光线不足，影响高动态效果，获得更多曝光的方法如下：

方法	限制
大光圈镜头	手机受到厚度限制，很难把光圈做大。同时手机受到功率限制，使得通过增加相机数量来创建合成光圈具有挑战性
光学图像防抖	光学防抖可以延长曝光时间，同时最大限度减少相机的抖动模糊，但不能控制被摄物体运动引起的运动模糊
包围曝光	包围曝光进行图像融合，融合后的图像的不同部分代表不同时间的场景，很难实现单一的自一致构图。由于难以对齐在不同时间捕获的图像，不正确融合引起的最常见的伪影是重影，牺牲了细节，使得精确地去马赛克变得困难
闪光灯	闪光灯是最不受欢迎的选择，增加了光线，但会改变场景，有人解决了这个问题，但不够鲁棒

HDR+描述了一个相机系统，设计这样的相机系统考虑了以下原则：

设计原则	描述
即时	短时间内生成一张图片，显示在相机上
自动	该方法需要无参数且全自动。摄影师不需要知道捕捉策略、图像处理策略，也能得到更好的照片
自然	我们拍摄的照片需要忠实于现场的面貌。因此，在高动态范围下， 我们需要限制局部色调映射的数量，避免出现卡通或超现实主义的图像。在光线非常弱的场景，我们不能使图像太亮以至于改变明显的照度或暴露过多的噪声
保守	它需要能作为默认的拍照模式使用。这意味着所产生的照片必须不包含人工制品，并且必须始终至少与传统照片一样好。而且，在极端情形下，它必须逐渐退化为普通照片。

根据以上设计原则，产生以下设计决策：

	描述	问题与解决
用相同的低曝光连拍	由于不同程度的噪声和运动模糊，小的曝光变化可能会影响对齐，大的变化可能会导致局部对齐不可能。我们选择低曝光来避免blowing out，来捕捉更多的动态范围。选择更短的曝光时间，减轻相机抖动模糊	更短的曝光会加重噪点，可以通过align、merge抵消
替代帧合并到参考帧	一个图像为参考帧，其他替代帧对齐合并到这个帧。合并多帧，生成中间图像，具有更高的位宽、更少的噪声、更高的动态范围。	为了降低计算复杂度，只从每个替代帧中合并一个patch

2 capture和processing概述

图三总结了capture 和 processing 系统：

1. 实时pipeline 生成连续低分辨率取景器流，由SoC的ISP计算，节能；
2. 非实时pipeline 生成单个高分辨率图像，SoC的AP运行的软件计算。

所见非所得：ISP的图像看起来与AP软件计算出来的图像不同。

使用RAW图的优点：

优点	描述
增加动态范围	原始图像中的像素通常是10位，而移动isp产生的YUV(或RGB)像素通常是8位。实际的优势是小于2位，因为raw是线性的，YUV已经有了伽马曲线，但它是不可忽略的。
线性度	在减去黑电平偏移后，原始图像与场景亮度成正比，而isp输出的图像包括非线性色调映射。线性度可以让我们准确地模拟传感器噪声，这使得对准和合并更可靠，也使自动曝光更容易。
可移植性	合并由ISP生成的图像需要建模和反转其处理，这是专有的和场景相关的[Kim等人。2012]。通过从原始图像开始，我们可以省略这些步骤，这使得将我们的系统移植到新相机更容易。

我们的对齐和合并算法在RAW图上操作的，去马赛克步骤只需要在单个合并图像上执行一次，而不是在连续的每一帧上执行一次。