论文阅读笔记------Recovering High Dynamic Range Radiance Maps from Photographs(经典论文)

相关概念:

radiance用来描述物体表面单位面积上的能量分布,和方向有关。

In radiometry, radiance is the radiant flux emitted, reflected, transmitted or received by a surface, per unit solid angle per unit projected area. For example, radiance in direction of the optical axis of a LED is higher than it's radiance at an angle of 15°.

irradiance用来描述物体表面单位面积总的入射能量,和方向无关。比如,用来描述传感器像元的入射光强(来自于不同方向的环境光的累加)。

In radiometry, irradiance is the radiant flux (power) received by a surface per unit area. Irradiance commonly is used referring to power incident on a surface.

 Film Response Recovery:

Z: 数字像素值

X: 曝光值

\triangle t : 曝光时间

E:  辐照度

X = E * \triangle t

X 与 Z 之间的关系是非线性变换, 变换函数 f 是单调递增的. 

假设胶片辐照值(irradiance values) E_i 对于每个像素i 是常数.

1、场景是静止的;2、处理速度足够快,可忽略光照变化;3、幅照度E对于每个像素都是一样的。

Z_{ij} = f(E_i \triangle t_j ))  其中, i表示像素的空间位置, j表示曝光时间 \triangle t_j 的索引.

 在上式中 Z_{ij} 和 \triangle t_j 是已知的, E_i 和 函数 g 是未知的.

定义问题为 求 (Z_{max} - Z_{min} + 1)个 g(Z) 值和 N个 ln E_i 值 的最小化问题. 其中, Z_{max} \quad Z_{min} 是像素值的最大最小值, N是像素位置的数量, P是图片的数量.

 

第一部分是为了该最小化问题求解出的解满足公式(2)。

第二部分是为了保证g函数是平滑的,在这里g''(z) = g(z-1) - 2g(z) + g(z+1), 加权系数λ,需要根据实际测量量中的噪声来选择。

因为在(3)中的最小化问题中是关于E,g的平方,所以这个最小化问题是较为简单的线性最小二乘问题。求解这个超定方程组,还需要使用SVD分解。

 

除此之外,还需要三个点来完成上述公式的实现。

1、g和E可以加上一个尺度因子α。论文中对此进行了描述,将E+α代替E,g+α代替g,公式3并不会发生变化。

2、在第二个多项式中添加权重函数w。

所以公式3就变成了:

3、在计算的过程中,并不需要遍历所有像素。论文中做了详细叙述,给定P副图像中的N个像素值,必须要求解N个ln(Ei)的值和(Zmax-Zmin)个g值,为了保证超定方程的求解,需要满足

N*(P-1) > (Zmax - Zmin);

而每个像素值的范围为0-255,所以,假设有P = 11,每个图像只需要有50个像素即可,即N = 50. 公式3所需要满足的方程个数为N × P + Zmax - Zmin,如果遍历所有像素,很显然方程数量太过庞大。论文中提到,可以在方差较小的图像区域进行采样,以便保证光照亮度在选择的区域内是不变的。作者在文中最后交代当时他是用人工来选取区域的,但也说这部分很容易能够实现自动选取。

2.2 Constructing the High Dynamic Range Radiance Map

从公式2中可得公式5:

这里将公式4中的权重系数重新使用,目的是让增加接近响应函数中的中间部分像素的权重。

结合多次曝光,有助于降低恢复E中包含的噪声。

2.3 How many images are necessary?

1. 恢复图像响应曲线。至少2张。

2. 恢复辐照图,给定响应曲线。这里没有确定的数量,是一个动态数,R/F ,R为要恢复的最大辐照亮度范围,F为图像工作范围。

彩色:

可以通过分别重建每个通道的成像系统响应曲线来处理由红色,绿色和蓝色通道组成的彩色图像。不幸的是,将有三个未知的比例因子将相对辐射度与绝对辐射度相关联,每个通道一个。结果,这些缩放因子的不同选择将改变辐射度图的颜色平衡。
默认情况下,该算法选择比例因子,以使值Zmid的像素具有单位曝光。因此,具有RGB值(Zmid; Zmid; Zmid)的任何像素将具有相同的R,G和B辐射值,这意味着该像素是消色差的。如果成像系统的三个通道实际上确实对Zmid附近的消色差光做出了相等的响应,那么我们的过程将正确地重建相对辐射度。

Image super-resolution (SR) is the process of increasing the resolution of a low-resolution (LR) image to a higher resolution (HR) version. This is an important task in computer vision and has many practical applications, such as improving the quality of images captured by low-resolution cameras or enhancing the resolution of medical images. However, most existing SR methods suffer from a loss of texture details and produce overly smooth HR images, which can result in unrealistic and unappealing results. To address this issue, a new SR method called Deep Spatial Feature Transform (DSFT) has been proposed. DSFT is a deep learning-based approach that uses a spatial feature transform layer to recover realistic texture in the HR image. The spatial feature transform layer takes the LR image and a set of HR feature maps as input and transforms the features to a higher dimensional space. This allows the model to better capture the high-frequency details in the image and produce more realistic HR images. The DSFT method also employs a multi-scale approach, where the LR image is processed at multiple scales to capture both local and global features. Additionally, the model uses residual connections to improve the training process and reduce the risk of overfitting. Experimental results show that DSFT outperforms state-of-the-art SR methods in terms of both quantitative metrics and visual quality. The method is also shown to be robust to different noise levels and image degradation scenarios. In summary, DSFT is a promising approach for realistic texture recovery in image super-resolution. Its ability to capture high-frequency details and produce visually appealing HR images makes it a valuable tool for various applications in computer vision.
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值