基于感知的色调重建（上篇）

文章中[xxx]为引用论文或书籍，在下方有专门的论文链接地址。

在我们真实世界上，照明动态范围很高，从高光到阴影在10000到1之间，如果我们从（太阳）光源直接照射下的可见物体，则可能到达10的8个次方之高。如果我们所看到的是室外与室内场景，则也有很高的对比。Unfortunately，我们电脑手机使用的设备只有100到1的有用动态范围。无法真正的在现真实的世界。

Tone-Mapping Problem

为了在显示设备表达真正的现实，图像应该表达他所能表现最真实近似的一面。Artists和摄影师在很早之前就已经解决了这个问题，这里面的核心问题是，环境中的光强度水平可能已经超出了显示介质（显示设备如手机显示屏，PC显示屏等）的输出水平。另外，环境中的一

些对比也可能发生变换，因为这些对比变化已经大大超出了显示屏所能接受的范围。

一个外观场景的外观取决于照明水平和对比度范围[82]。“场景在阳光明媚的日子里看起来更丰富多彩和对比鲜明”，“白天的彩色场景在晚上显得灰色”。因此，简单的缩放压缩光强度水平和对比度范围，以适应它的显示限制，并不足以再现场景的准确性。

大多数情况下，我们关注于亮度值的简单压缩，以使图像的动态范围符合给定的显示设备范围。这可以通过简单的缩放来实现。然而，这种简单的缩放方法经常发生生成的结果在显示，图形中的细节部分完全丢失如下图左。因此，减少图像的动态范围以适应显示器本身是不够的。我们还需保留视觉的默些方面，例如，我们可以假设应该避免细节的丢失。这一观察结果给了我们一个看似更简单的问题来解决：我们如何在保留细节的同时压缩HDR图像的动态范围，以适应显示范围？

人类视觉系统（HVS）也处理着类似的问题。视觉通道中单个通道的信噪比为32:1,不到2个数量级 [69,134]。即使在这个有限的动态范围内，HVS的功能也表现的非常好:它允许我们在广泛的照明范围下工作i，并提供我们能够同时感知HDR场景光部分暗部分的详细细节对比。所以在显示HDR图像中匹配这种感知的显示，理解HVS的基本知识是非常必要的。

Human Visual Adaptation（人类视觉适应）

HVS的一个显著特点是它能够在一天中遇到巨大照明范围内工作。阳光的强度可能是月光的一百万倍。星光的强度可能是月光的千分之一。因此，照明的有效范围10亿到1[334].在给定的时间内在单个场景中同时存在动态范围要小的多的。但仍然徘徊在四个数量级左右。视觉系统通过适应当前的照明条件，在这个范围内发挥作用。因此，适应使我们的视觉系统在白天不不那么敏感，而在晚上更敏感。例如，让司机在夜间驾驶的汽车前灯在白天大多不被注意到，如下图所示。

在(psychophysical)心理学研究中，人类视觉的适应是通过测量最小的增量光量来评估的，这使观察能够从背景光中区分出测试对象。这个最小的增量被称为"视觉阈值"或"Just noticeable difference"（JND）.

在一个典型阈值测量实验中，一个人类受试者集中在一个宽的空白屏幕上，花费足够的时间以调整其均匀的背景强度Ib。在这个均匀的背景下，加上一个小测试的强度点Ib + △I是被感知到一定亮度增强.这个测试点被称为刺激点。增量△I被调整以找到最小的可检测的△Ib

.这个阈值的值取决于背景的值，如下图所示，它绘制了不同背景强度下的典型阈值-平均强度（TVI）测量值。

△Ib / Ib

在大部分的背景强度范围内，这个比率几乎是恒定的，140多年一直内称为"Weber‘s law"韦伯定律。这个固定分支约为1%[334],可以随着测试点的大小和刺激显示的持续时间而变化。这一部分的恒定性质表面，视觉适应发挥了一种正常化的作用，缩放场景的强度，以保持我们感知内部的对比能力。

人类视觉对不同的光照条件的适应被认为是通过瞳孔、杆锥系统、光化学反应和光感受器机制。下面几部分将讨论这些因素的作用。

The pupil (瞳孔)

光通过角膜和房水(cornea and the aqueous humor)后通过瞳孔进入视觉系统，在虹膜（iris）[97,122,128]上有个圆形的空。人眼适应特定光照条件的机制之一是通过调节瞳孔的大小来调节进入眼睛的光量。事实上，瞳孔的大小会随着背景光水平的变换而变换。它的直径在明亮的光线下从最小约为2毫米变化到在黑暗中最大约为8毫米。这种变化导致进入眼睛的光强度只减少了16倍。在真正的光强从100亿倍到一倍的面前，可以被忽略。

The Rod and Cone System（杆锥系统）

通过瞳孔的光在到达视网膜之前通过晶状体和玻璃体（lens and vitreous body），在视网膜被光感受器吸收之前被色素层反射。后者将光转换为神经信号，并被传递到视觉系统的其他部分。人类的视网膜有两种不同类型的光感受器：视杆状细胞和视锥状细胞。杆对光非常敏感，并负责视觉从黄昏照明到非常黑暗的照明条件。圆锥细胞相对不那么敏感，在白天和月光下负责视觉。

根据视觉是由视锥细胞还是杆状细胞的介导，照明大致分为适光范围和微光范围(photopic and scotopic ranges.)。适光区域和微光区域重叠部分：在室内光线到月光之间的光照范围内，视锥体和视杆状体都是活跃的。这个区域被称呼为“mesopic range.”（“昏暗范围”）,杆状体和锥状体将巨大的照明范围分成大约两个更小的范围，他们各自适应。

视杆状体和视锥状体在各自的光照范围内的适应表现如下图所示，最下角的线对应杆的阈值，右上角的线对应锥的阈值。在微光（scotopic）光照条件下，视杆状细胞比视锥细胞更敏感，其阈值也要低很多，视觉是由视杆状细胞系统介导的。

从黑暗的条件开始，随着光照的增加，杆变得不那么敏感，最终饱和。因此无法分辨高达100:1的对比。在此之前，锥体细胞已经接管，导致上图的交叉点。杆曲线的方程由

△Ib = 0.1(Ib + 0.015)

而描述圆锥曲线的方程为

△Ib = 0.02(Ib +8)

这些方程是通过阈值数据[281]进行拟合得到的。在这里，Ib用（网膜照度单位）Trolands（td）表示，这是一种测量方法。当通过1 mm^2的瞳孔开口a观察亮度L为1 cd/m^2的表面时，得到1 td的值。视网膜照度I时由

I = LA

这是用烛光（cd）来测量。（烛光用坎德拉表示的光强度单位坎德拉是辉度的量度单位）

一个圆形瞳孔的直径d作为背景亮度的函数可以被估计为[372].Moon和Spencer[225]提出了以下亮度和瞳孔直径之间的关系。

d = 4.9 − 3 tanh (0.4(log L + 1.0))

另外，de Groot和Gebhard[114]估计瞳孔直径为

log d = 0.8558 − 4.01 × 10−4 (log L + 8.6)3

这两个方程中，直径d以毫米为单位，L以每平方米烛光为单位。

杆状细胞和视锥细胞在适应中的作用时非常重要的，在处理非常高动态范围的强度时值得考虑。然而，视锥细胞和视杆细胞个体操作的范围也时非常大的(100万到1).因此，额外的过程必须在适应过程中发挥重要作用。

Photopigment depletion and Regeneration （光色素的耗竭与再生）

光被杆状的和锥状光感受器通过化学反应吸收，这种反应会分解光敏色素，使他们暂时不敏感-这一过程被称为 "Bleaching"。这些颜料是通过一个相对缓慢的过程来再生的。当暴露在介观范围（介乎于微观和宏观之间的状态）以上的光强度下时，杆状光色素完全耗尽。据认为，这种耗尽使杆在光位范围内无法工作。

尽管如此，即使在明亮的阳光下，视锥体的光色素也没有明显的减少，但TVI关系证明，视锥体的敏感性随着背景强度的变化而继续减弱。因此，光色素的浓度和视觉敏感度之间缺乏相关性。这以及其他实验证据表面，除非几乎所有的色素都被"Bleacging"，否则对不同的光照条件下的视觉适应不能仅仅归因于色素浓度[69]。

Photoreceptor mechanisms（光感受器机制）

电生理学研究用于检测HVS中的单个神经元细胞的反应。虽然视觉系统收到一种光模式的刺激，但单细胞记录是通过将一个薄电极保持在细胞附近（细胞外记录）或细胞内部（细胞间记录），从而测量细胞的电行为[243]。

杆状细胞和锥状细胞将吸收的光能转换为神经反应，这已经通过细胞间记录来测量。与视觉系统表现出的惴旱谋尘肮馇慷确段啾龋飧惺芷鞫砸桓鱿嗟闭牧炼确段ё龀龆允从ΑＵ飧龇段е挥写笤既龆允ノ唬峦妓尽Ａ炼认煊亩允咝酝际腔诙院诎凳视Φ募棺刀锔俗聪赴诙淘荼┞队诓煌炼戎礫69]下的响应的测量。

视锥细胞的响应曲线与视杆细胞的响应曲线形状相同。然而，由于杆状细胞对光的敏感性更高，视锥体的响应曲线位于对数亮度轴上的右侧。杆状体和锥体的响应曲线可以用下式拟合:

其中，R是光感受器响应（0< R < Rmax），Rmax为最大响应，I为光强度，半饱和常数σ为引起最大半响应的强度。最后，n是一个灵敏度控制指数，其值一般在0.7~1.0之间[69].

这个方程，被称为““Naka–Rushton equation”，在对数线性图上模拟了一个s形函数，并在心理物理实验[129,2,333,365]和广泛多样的直接神经测量[234,158,69,103,111,328]中反复出现。对于n = 1，这个方程也被称为“Michaelis–Menten equation”。方程中σ的作用是控制响应曲线在水平强度轴上的位置。因此，通过简单地使用公式中的两个不同的σ值，如σ rod和σ cone，就可以表示图中的杆体和锥的响应曲线。

（Photoreceptor Adaptation）光感受器适应

左图中间图的响应曲线显示，当暗适应环境的光感受器暴露在中等高的短暂光下时强度，响应达到最大，光感受器饱和。这个感光体失去对任何附加光强度的敏感性。感光体的这种初始饱和度与我们的视觉体验相匹配，即当暴露在比当前背景强度强至少100倍的光下时，会产生令人目眩的亮度。但这种最初的经历不会持续很长时间。如果暴露在这种高背景强度下一段时间，HVS就会适应这种新的环境，我们就会重新开始正常工作。测量结果表明，如果光感受器连续暴露在高背景强度下，初始的饱和响应不会继续保持饱和。反应逐渐返回到暗适应的静息反应，光感受器对增量反应的敏感性逐渐恢复。右图显示了在两种不同背景强度下测量响应的向下偏移，即垂直线。一个有趣的观察结果是，短暂的反应永远不会完全回到静息反应中。相反，它稳定在一个平台上。右图显示了一个背景强度范围内的平台曲线（下曲线）。除了恢复灵敏度外，在任何给定的背景强度下测量的强度-响应曲线都沿横轴向右移动，从而确保了较窄的响应范围位于背景强度附近。

移位曲线如图所示。

Response–Threshold Relation 响应阈值关系

观察到的视觉阈值与背景强度之间的关系可以从细胞适应模型中得到，如上图所示。对于这个推导，我们假设阈值Ib是通过一个小的标准量δ [333,112]来增加细胞反应所需的增量强度。基于这一假设，我们从响应方程中推导出Ib如下。我们从重新安排开始

对于n = 1和Ib = σb，I Idark与Ib成正比。这与在TVI测量中看到的韦伯关系是一致的。因此，韦伯定律可以看作是光感受器适应的一种行为表现。

前面对视觉适应的各种机制的讨论得出了以下结论：

1 光感受器适应在视觉适应中起着非常重要的作用。这种自适应的一个适当的数学模型可以有效地用于用色调绘制HDR图像。TVI关系可以从光感受器适应模型中推导出，因此可以作为音调映射的替代数学模型。

2视杆状体和圆锥体的组合扩展了HVS工作的有效范围。根据图像中存在的强度范围，可以选择一个适当的感光系统或它们的组合来实现现实的音调映射。

Reference：

[82]M. D. Fairchild. Color Appearance Models, 2nd ed., Chichester, UK: Wiley,13(1):126–138, 2005. 颜色外观模型

[186]Y. Li, L. Sharan, and E. H. Adelson. “Compressing and Companding High Dynamic Range Images with Subband Architectures,” ACM Transactions on Graphics, 24(3):836–844, 2005.

[69]J. E. Dowling. The Retina: An Approachable Part of the Brain. Cambridge, MA:Belknap Press, 1987.

[134]R. W. G. Hunt. The Reproduction of Color, 6th ed., Chichester, UK: Wiley and Sons.

[334]B. A. Wandell. Foundations of Vision. Sinauer Associates, Inc., Sunderland, MA 1995.

[97]J. Forrester, A. Dick, P. McMenamin, and W. Lee. The Eye: Basic Sciences in Practice. London: W B Saunders, 2001.

[122]E. Hecht. Optics, 2nd ed., Reading MA: Addison-Wesley, 1987.

[128]M. Hogan, J. Alvarado, and J. Weddell. Histology of the Human Eye.Philadelphia, PA: W. B. Saunders, 1971.

[281]W. A. H. Rushton and D. I. A. MacLeod. “The Equivalent Background of Bleaching,” Perception, 15:689–703, 1986

[225]P. Moon and D. E. Spencer. “Visual Data Applied to Lighting Design,”Journal of the Optical Society of America, 34(10):605–617, 1944.

[114]S. G. de Groot and J. W. Gebhard. “Pupil Size as Determined by Adapting Luminance,” Journal of the Optical Society of America, 42:492–495, 1952.

[243]S. E. Palmer. Vision Science: Photons to Phenomenology. Cambridge, MA: MIT Press,1999.

[158]J. Kleinschmidt and J. E. Dowling. “Intracellular Recordings from Gecko Photoreceptors during Light and Dark Adaptation,” Journal of General Physiology, 66:617–648, 1975.

[103]W. S. Geisler. “Effects of Bleaching and Backgrounds on the Flash Response of the Cone System,” Journal of Physiology, 312:413–434, 1981.

[111]N. Graham. Visual Pattern Analyzer.New York: Oxford University Press, 1989.

[328]J. M. Valenton and D. Norrenvan Norren. “Light Adaptation of Primate Cones: An Analysis Based on Extracellular Data,” Vision Research, 23:1539–1547, 1983.