Non-Local Image Dehazing非局部图像去雾(CVPR2016)

code: http://www.eng.tau.ac.il/~berman/NonLocalDehazing/

一、摘要

   雾度限制可见度并降低室外图像中的图像对比度。退化对于每个像素是不同的,并且取决于场景点与相机的距离。这种依赖性在透射系数中表达,透射系数控制场景衰减和每个像素中的雾度量。先前的方法使用各种基于块的先验来解决单个图像去雾问题。
另一方面,我们提出了一种新的,非本地的先验的基础上的算法。该算法依赖于这样的假设,即无雾图像的颜色由几百种不同的颜色很好地近似,这些颜色在RGB空间中形成紧密的簇。我们的关键观察是,在一个给定的集群中的像素往往是非本地的,即,它们分布在整个图像平面,并位于不同的距离从相机。在存在雾度的情况下,这些变化的距离转化为不同的透射系数。因此,清晰图像中的每个颜色簇变成RGB空间中的线,我们称之为模糊线。使用这些雾线,我们的算法恢复的距离图和无雾图像。该算法是线性的图像的大小,确定性,不需要训练。它在各种各样的图像上表现良好,与其他最先进的方法相比具有竞争力。

1 引言

  室外图像通常遭受低对比度和有限的能见度,这是由于雾,空气中的小颗粒在大气中散射光。雾度与场景辐射无关,并且对所获取的图像具有两个影响:它衰减了所观察场景的信号,并且它向图像引入了附加分量,称为环境光或空气光(在无穷远处的场景点的颜色)。由于场景辐射度降低且空气光幅度增加,因此由雾度引起的图像退化随着距相机的距离而增加。因此,模糊图像可以被建模为无模糊图像和全局空气光的每像素凸组合。
  我们的目标是恢复无雾图像的RGB值和每个像素的透射率(凸组合的系数)。这是一个不适定的问题,有一个欠定系统的三个方程和每个像素至少四个未知数,在雾度和物体辐射之间具有固有的模糊性。为了处理这种模糊性,一些以前的工作使用额外的信息,如更多的图像,而其他人则假设一个图像之前,从一个单一的图像解决问题(见第二节)。2)的情况。
  在这里,我们使用这样的观察,即无雾图像的颜色可以很好地近似于几百种不同的颜色[14]。这意味着模糊图像中的像素可以通过RGB空间中穿过空气光坐标的线来建模。我们将这些线称为haze-lines以强调这一特性(图1a和1b)。沿着雾线的像素来自位于整个图像平面上的具有相似辐射颜色的对象。这些对象可以并且实际上位于距相机的不同距离处。由于它们所获得的颜色可以通过辐射颜色和空气光颜色的凸组合来建模,因此这样的对象将在RGB空间中跨越一条线。我们使用这些线来估计每像素的传输的基础上,像素的位置沿着它所属的线。
  与最近的最先进的方法相反,我们方法是全局的,并且不将图像划分为块。基于补丁的方法非常小心地通过使用多个补丁大小[19]或考虑补丁重叠和使用远距离像素之间的连接的正则化来避免伪影[3]。在我们的情况下,形成模糊线的像素分布在整个图像上,因此捕获了不限于小图像块的全局现象。因此,我们的先验在运行时更稳健并且显著更高效。
  我们提出了一个有效的算法,是线性的图像的大小。我们自动检测Haze-lines,并使用它们去雾的图像。我们还进行了广泛的实验,以验证我们的假设,并报告许多户外图像的定量和定性结果。

图1.非局部图像去雾。(a)使用K均值对无雾彩色图像的像素进行聚类。标记属于聚类中的四个的像素。注意,像素是非局部的并且遍布图像平面。(b)在RGB空间中描绘四个颜色聚类。聚类的颜色对应于(a)中的突出显示的像素。(c)向(a)中加入合成雾度。标记相同的聚类像素,但是它们的观察到的颜色受到不同的雾度量的影响。(d)在RGB颜色空间中描绘的模糊像素。它们沿着称为雾线的线分布,穿过空气光,用黑色标记。

图2. Haze-lines(我们的)与颜色线[3]。(a)输入模糊图像。属于不同距离中的相似对象的六个像素由圆形颜色标记来标记,并且局部块由橙色框架来标记。(b)在(a)中描绘的具有圆形标记的像素的颜色坐标在RGB颜色空间中示出,具有对应的颜色编码。它们分布在一个haze-line,我们的方法确定。该线穿过空气光,用黑色标记。线的另一端是这些像素的无雾颜色,而不是原点。(c)与我们的方法相反,由橙色正方形标记的局部斑块中的像素沿着与从原点到空气光的矢量相交的颜色线[3]分布。

2 相关工作

  已经提出了多种方法来解决图像去雾。有几种方法需要额外的信息来对图像进行去雾,例如在不同天气条件下拍摄的多个图像[11],或具有不同偏振状态的两个图像[16]。或者,使用场景几何[6]。单图像去雾方法假设仅输入图像可用并且依赖于图像先验。
  雾度降低了图像的对比度,各种方法都依赖于这种观察来进行恢复。Tan [18]最大化每个补丁的对比度,同时保持全局相干图像。在[15]中,从RGB通道之间的差异估计雾度的量,其随着雾度的增加而减少。这种假设在灰色地带是有问题的。在[21]中,雾度是基于以下观察结果来估计的:雾度区域的特征在于高亮度和低饱和度。
  一些方法使用图像深度的先验。在[20]中使用了空气光的平滑度先验,假设它是平滑的,除了深度不连续性。Nishino等人[12]假设场景反照率和深度在统计上是独立的,并使用两者的先验来联合估计它们。先验的反照率假设在自然场景的图像中的梯度的分布表现出重尾分布,并且它被近似为广义正态分布。深度先验是场景相关的,并且是手动选择的,对于城市场景是分段常数,或者对于非城市景观是平滑变化的。
  有几种方法假设透射率和辐射率是分段常数,并在贴片基础上采用先验[3,4,5]。暗通道先验[5]假设在小图像块内将存在具有暗颜色通道的至少一个像素,并且使用该最小值作为当前雾度的估计。这个先验工作得很好,除了在场景的明亮区域,先验不成立。
  在[4]中,颜色椭圆体在每个补丁的RGB空间中拟合。这些椭球被用来提供一个统一的方法,以前的单图像去雾方法,并提出了一种新的方法来估计每个椭球中的传输。
  在[3,17]中,每个补丁在RGB空间中拟合颜色线,寻找具有恒定透射率的小补丁。该先验是基于观察结果[13],即无雾图像中的像素在RGB空间中形成颜色线。这些线穿过原点,并源于对象内的着色变化。如[3]所示,由于附加雾度分量,雾度图像中的色线不再穿过原点。在包含距相机均匀距离的像素的小面片中,这些线由该距离处的空气光从原点偏移。通过将线拟合到每个这样的贴片,使用线从原点的偏移来估计贴片中的传输。
  先验的多样性导致了[19]的工作,其在学习框架中检查不同的补丁特征。
  在[7]中,图像被分割为具有相似距离的区域,而不是小块,并且在每个片段内拉伸对比度。这可能在分段之间的边界处产生伪影。

  虽然我们的haze-lines看起来与[3,4]相似,但它们本质上是不同的。差异如图所示。2.
在[3]中,线由图像平面中的小块的像素定义,假设透射恒定,具有由阴影引起的强度差,因此相对较小(图1)。这是一种局部现象,并不总是成立,实际上,在[3]中,注意确保仅考虑假设成立的补丁。另一方面,我们观察由分散在整个图像上的单个像素形成的线条。这些像素通常有很大的强度差异,这是由透射率的变化而不是局部阴影效应引起的,如图所示。2b.

3 模糊图像中的非局部颜色

  我们首先提出了雾模型,然后描述我们如何使用非本地的雾线图像去雾。

  3.1.雾度模型

常见的模糊图像形成模型是[9]:
I(x) = t(x)*J(x) + [1-t(x)] *A   (1)

  其中x是像素坐标,I是观察到的模糊图像,并且J是在X处成像的场景点的真实辐射率。空气光A是表示t = 0的图像区域中的空气光的单一颜色。
  场景传输t(x)是距离相关的:

t(x) = e^{-\beta d(x)}  (2)

其中β是大气的衰减系数,d(x)是场景到像素x的距离。通常,β依赖于波长,因此每个颜色通道的t是不同的[11,16]。在以前的减少未知数的单图像去雾方法中,这种相关性被认为是可以忽略的,我们遵循这一假设。

透射率t(x)用作场景J和空气光A之间的消光系数。因此,每像素x,Eq(1)有三个观测值I(x)和四个未知数:J(x)和t(x),导致了一个欠定估计问题。

3.2.先验

  我们的方法是基于这样的观察,即图像中不同颜色的数量比像素的数量小几个数量级[14]。该假设在过去已经被广泛使用,并且用于使用索引色彩图来保存彩色图像。我们验证和量化它的伯克利分割数据集(BSDS 300)。这是清晰的户外自然图像的不同数据集,因此代表了可能被雾霾降级的场景类型。我们使用K-means将每个图像的RGB像素值聚类到最多500个聚类,并将图像中的每个像素替换为其各自的聚类中心。其结果是一个具有500个不同RGB值的图像最大(比图像大小小两个数量级)。与原始图像相比,用减少的颜色集生成的图像的PSNR高,范围从36.6dB到52.6dB。在图3中示出了所获得的PSNR值的直方图,以及在颜色量化之前和之后具有最差PSNR的图像。
  关于少量不同颜色的观察适用于无雾图像。在存在雾度的情况下,属于相同颜色聚类的对象点最终具有不同的所获取的颜色,因为它们位于不同的图像区域中并且因此具有距相机的不同距离。此先验表明在无雾图像中群集在一起的像素在有雾图像中形成RGB空间中的线。基于等式(1)、线的两个端点分别是原色J和大气光A。这些是雾线。
  这一先验信息如图1所示。使用K-means将无霾图像聚类到500个簇。属于这些簇中的四个的像素在图1a中用不同的颜色来标记,它们的RGB坐标在图1b中绘制,显示了紧密的簇。请注意,这些簇包括分布在整个图像上的像素,这些像素来自与相机距离不同的对象。由[3]从清晰图像(图1c)合成模糊图像。标记了与图1a中相同的像素。然而,现在,属于同一颜色簇的像素的颜色不再相似。这是在图1d中的RGB空间中描述的,其中这些像素的颜色坐标沿着由原始颜色和空气光跨越的雾线分布。用紫色圆圈标记的像素(源自沙地)被定位在相似的距离上,所以它们在雾线上的分布相当紧密。然而,由橙色三角形(草地区域)标记的像素在真实世界中的不同位置被发现,因此它们沿着雾线分布。
  图2展示了在模糊的室外图像上的雾线先验。通过我们的方法识别为属于相同雾线的六个不同像素被圈出。它们都在被遮蔽的树干和树枝上,并且很可能具有相似的辐射率J。然而,它们观察到的强度I是完全不同的,如图所示。图2b示出了在RGB空间中穿过空气光的雾线,其中这些像素形成穿过空气光的RGB空间中的雾线。

图3.先前验证:(a)伯克利分割数据集(BSDS300)上的量化误差的PSNR直方图:使用K均值将每个图像的RGB值聚类到500个聚类,并由聚类中心替换。直方图显示了在整个数据集上测量的PSNR。(b,d)在颜色量化之前(b)和之后(d)具有最差PSNR(36.64dB)的图像。(c)绝对差值图像到颜色量化版本(对比度被拉伸以用于显示,注意,最大差是256中的18)。

4 去雾

  我们的算法由四个基本步骤组成:将像素聚类成雾线、估计初始透射率、正则化和去雾(参见Alg. 1)。

查找雾线:我们使用先前的方法之一估计A [2,5,18]。让我们将I_{A}定义为:

IA(x)= I(x)-A,(3)

即三维 RGB 坐标系平移后,空气光位于原点。按照公式 (1)

IA(x)= t(x)· [J(x)-A] (4)

我们用球坐标表示IA(x):

IA(x)= [r(x),θ(x),φ(x)]  (5)

这里r是到原点的距离(即I − A),θ和φ分别是经度和纬度。
  现在,像素的颜色在围绕空气光的球形坐标系中表示。图 4 显示了森林图像(图 2a)投影到球面上的直方图。颜色代表指向每个方向的像素数量。赤道(φ = 0)用蓝色粗虚线标出,经度θ = 0、π 2 用蓝色虚线标出。三角剖面图稍后解释。为便于说明,颜色映射为对数。直方图显示,像素的经度和纬度高度集中。
  让我们看看公式(4)。对于J和A的给定值,距摄像机不同距离处的场景点仅在t的值上不同。在我们定义的球坐标系中,t的变化只影响r(x),而不会改变φ(x)或θ(x)。换句话说,如果像素X和y的[φ,θ]类似,那么像素X和y在基础无雾图像中具有类似的RGB值:

J(x)≈ J(y)⇒ {φ(x)≈ φ(y),θ(x)≈ θ(y)},t.  (6)

  因此,如果像素的[φ(x),θ(x)]值相似,他们就属于相同的雾线。图4中球体上的每一点代表一条雾线,一条雾线上的所有像素的角度[φ(x),θ(x)]大致相同。每条雾线上的像素在非模糊图像J中具有高概率的相似值。

  请注意,对于与空气光共线的颜色,颜色和雾度之间存在固有的模糊性:

J1 − A = α(J2 − A)⇒ J1 =(1 − α)A + αJ2,(17)

其中α是比例因子。在这种情况下,所有单个图像去雾方法将J1和J2校正为相同的颜色。这是在我们的方法中,当两个颜色聚类将被映射到相同的Haze-line时的唯一情况。
  为了确定哪些像素位于同一雾线上,应根据像素的角度对其进行分组[φ,θ]。在[0,2π]×[0,π]范围内对边缘均匀的θ和φ进行二维直方图绑定将不会生成球体的均匀采样。取而代之的是,由于球面上的距离相对于Sin(θ),因此两极附近的样本密度会更高。因此,我们对单位球体进行均匀采样,如图4所示,其中每个顶点都是一个采样点。每个顶点对应一条阴霾线。为了显示清晰,图4中的样本数量比我们使用的实际数量要少。我们根据像素的[φ(X),θ(X)]值,根据曲面上最近的采样点对像素进行分组。这可以通过从预定义的镶嵌构建KD-树并查询每个像素的树来有效地实现。这比运行k-均值之类的集群算法要快得多。
  根据第3.2节所述的分析,数百条雾线以良好的近似值表示一幅图像。图5A描绘了森林图像的图像平面中两条不同雾霾线的布局。

图 4. 以空气光为中心的球面表示法。球面使用 500 个点均匀采样。每个点 [φ, θ] 的颜色表示在球面坐标中写入 IA(x) 时具有这些角度的像素 x 的数量(图像大小为 768 × 1024)。

估计初始透过率:对于由J和A定义的给定的雾线,r(x)取决于物距:

r(x)= t(x)||J(x)− A|| ,0 ≤ t(x)≤ 1 (8)

因此,t = 1对应于最大径向坐标:

r_{max}= \doteq def || J-A||    (9)

组合方程(8,9)得到基于雾线中的半径的透射率的表达式:

t(x) = r(x)/r_{max}   (10)

  现在,问题是如何找到最大半径的估计值r max?如果雾线H包含无雾像素,则r max是该雾线的最大半径:

 

图5.每条霾线的距离分布:(a)分别以绿色和蓝色描绘属于两个不同雾线的像素。(B)每个聚类内的r(x)的直方图。水平轴限于范围[0,}A}],因为在该特定图像中没有像素可以具有该范围之外的半径。

其中估计是按照雾线H进行的。图5b显示了图5a所示的两个簇的半径直方图。我们假设离空气光最远的像素是无雾的,并且对于每个雾线都存在这样的像素。该假设并不适用于图像中的所有雾线,然而正则化步骤部分地补偿了它。组合方程(10,11)导致传输的每像素估计:

正则化:由于辐射率J是正的(即,J>=0),因此等式(1)给出了传输的下限:

在[5]中,传输估计基于tLB的侵蚀版本。我们对估计的透射率(每像素)施加该界限:

在Eq.(12)是每像素执行的,而不施加空间相干性。如果少量的像素被映射到特定的模糊线,或者在非常模糊的区域中,则该估计可能是不准确的,其中r(x)非常小并且噪声可能显著地影响角度。透射图应该是平滑的,除了深度不连续性[3,12,18,20]。我们寻求一个传输映射t(x),它类似于t ~ LB(x),并且当输入图像平滑时是平滑的。在数学上,我们最小化以下函数w.r.t. t(x):

其中λ是控制数据和平滑度项之间的折衷的参数,Nx表示图像平面中x的四个最近邻居,并且σ(x)是t ~ LB的标准偏差,其是按雾线计算的。

  σ(X)扮演着重要的角色,因为它允许我们仅将估计应用于假设成立的像素。当方差较大时,初始估计的可靠性较低。σ(X)随着雾化线中的像素数的减少而增加。当给定雾化线上的半径分布较小时,我们的雾化线假设不成立,因为我们没有观察到具有不同雾化量的像素。在这种情况下,σ(X)也会增加。

  去雾:一旦t(x)被计算为等式(1)的最小值,在等式(15)中,使用等式(15)计算去雾图像。(1):

  该方法总结于Alg. 1,并在图中显示。图6a示出了输入模糊图像。最终的去雾图像如图所示。图6c示出了模糊图像中的每个像素到空气光的RGB空间中的距离。注意,该距离随着雾度增加而减小。图6d示出了每条雾线的最大半径r max(x)。
  观察这个图。6d比图6亮得多。6c。由于较大的值由较亮的颜色表示,这指示到空气灯的距离增加。在其雾度线中具有最大半径的像素被标记在图1中的雾度图像上。注意,这些像素大部分在前景处,其中实际上存在最小量的雾度。我们过滤掉在雾度线中具有最大半径但具有σ > 2的像素,因为模型假设不适用于这些雾度线。上述像素在天空中被发现,因为在RGB空间中到空气光的距离非常短。因此,根据它们的角度对它们进行聚类由于噪声而不可靠。在正则化步骤中,通过数据项权重1 σ2(x)考虑该事实,如图2所示。6 f(暖色表示高值)。图1的比率。图6c和图6d产生图6 b所示的初始传输t ~(x)。6 g.反式-正则化后使命图如图所示。6 h.虽然~ t(x)包含即使在与相机距离相同的草地区域中的精细细节,但t(x)不表现出这种行为。这表明正则化是必要的。

图6.我们的方法的中间和最终结果:(a)输入模糊图像;(B)输出图像;(c)模糊图像的每个像素到空气光的距离r(x);(d)根据等式(1)计算的估计半径(e)示出了输入图像,其中r(x)=(rmax(x)的像素x由青色圆圈标记;(f)等式中的数据项置信度(15)色彩映射(暖色显示较大的值);(g)正则化之前的估计传输映射t(x);(h)正则化后的最终透射图t ~(x)。(g)和(h)是色彩映射的。

5 结果

  我们评估我们的方法包含自然和合成图像的大型数据集,并比较我们的性能,以国家的最先进的算法。我们假设A是给定的,通过使用由[17]计算的空气光矢量A。我们对所有图像使用相同的参数:在等式(15)中,我们设置λ = 0.1,并且我们将1/σ 2(x)缩放到范围[0,1]中以避免数值问题。为了找到雾度线,我们在单位球体上均匀地采样1000个点(图1)。4为清楚起见仅示出了500个)。

5.1.定量结果

  [3]介绍了自然场景模糊图像的合成数据集,并且可以在线获得。该数据集包含11个无雾图像、合成距离图和相应的模拟雾度图像。具有三种不同噪声水平的相同分布的零均值高斯噪声:将σn = 0.01、0.025、0.05添加到这些图像中(图像强度缩放至[0,1])。表1总结了透射图和去雾图像的非天空像素上的L1误差(与[3]中使用的度量相同)。我们的方法与[3]的方法和[5]的实现进行了比较[3]。对于该数据集中的五幅图像,清晰图像和噪声图像的结果由[3]1提供。
  我们的方法在大多数情况下优于以前的方法,并处理噪声。正如预期的那样,当噪声方差增加时,我们的性能会下降。然而,我们的方法保持其排名,相对于其他方法,无论噪音的量。这表明,我们的算法是相当强大的噪声,尽管是基于像素的。

表1.不同噪声量的合成模糊图像的L1误差比较给出噪声标准偏差,并将图像缩放到范围[0,1]。该表比较了估计透射图(左值)和去雾图像(右值)的L1误差。

5.2.定性结果

  图7和图8将我们的结果与现有技术的单图像去雾方法[1,3,4,5,12,19]进行了比较。如先前由[5]所指出的,在去除雾之后的图像可能看起来暗淡,因为场景辐射通常不如空气光明亮。对于显示,我们在输出上执行全局线性对比度拉伸,在阴影和高光中裁剪0.5%的像素值。在模糊输入上以粉红色标记在其模糊线中半径最大的像素。我们仅标记了σ(x)< 2的像素x,并且为了清楚起见,仅标记了属于大集群的像素。

  

图7.自然图像对比:[左]输入像素,设置其模糊线中的最大半径,以粉红色圈出。
我们的结果。中间列通过多种方法显示结果,因为每张论文报告的结果是不同的图像集。

图8.透射图和去雾图像的比较。

  [1]的方法在结果中留下模糊,如在图1中黄色圈出的区域中所见。7.在[7]的结果中,在分段之间的边界中存在伪影(由箭头指示)。[12]的方法倾向于过饱和(例如,House)。[5,19]的方法通常产生优异的结果,但与[3]和我们的方法相比,缺乏一些微观对比。这在Cityscape结果中显示的放大建筑物中很明显,在我们的结果和[3]中,窗户比[5,19]中更清晰(在监视器上查看最佳)。由于[4]的结果分辨率较低,因此未对其进行放大。[3]的结果有时会被修剪,例如House中的叶子和Forest中的天空。
  我们关于在每个雾线中具有无雾像素的假设在城市景观中不成立,如通过设置最大半径的几个雾像素所明显的,例如,红色的建筑。尽管如此,由于在空间上从其他雾线传播深度信息的正则化,正确地估计了那些区域中的透射。
  图8比较透射图和去雾图像两者。这表明我们的方法与其他方法相当,并且在某些情况下效果更好。例如,与[5]相比,我们的结果中的两行树被很好地分离。
  全球性的方法的主要优点是能够很好地科普快速变化的深度,当细节小于补丁的大小。图9示出了根据本发明的一个实施例的放大图图像的一部分,在[3]的结果中,在树叶周围以及树干和背景之间的边界处可以看到清晰的伪影。基于块的方法不太可能准确地估计这样的场景的距离。
[5]的结果没有在图中显示这些伪影。9,因为去雾在该图像中不太有效并且细节不太清楚(例如,被圈出的躯干)。这种现象在图中也是可见的。7在[4]的去雾城市景观图像中,其中前景和背景中的树木之间的光环可见,并且在[3]的火车输出中也是如此。

  使用单位球面的固定镶嵌可能会引起无法区分精细色调的担忧。图10表明情况并非如此。南瓜(无花果的作物)6a)从上方照亮,因此在顶部更亮,并逐渐变暗朝向地面(图6a)。图10左)。图10右侧描绘了聚类图-每种颜色象征不同的雾线。渐变色调变化在聚类图中是明显的。
  天气和照明数据库(WILD)[10]包含同一场景的多个图像和地面实况深度。图11在顶行上示出了场景的清晰的白天图像以及深度。下面是在恶劣天气条件下拍摄的照片和我们的结果。中间行的图像是在小雨和薄雾中拍摄的,我们的方法在估计粗略的深度图的同时恢复能见度。左下角的图像是在浓雾和有限能见度下拍摄的。在那里,像素没有被正确地聚集成雾线。结果是在恢复的图像中不准确的传输和伪影。

图9.(a)模糊输入。(B)[5]的结果。(c)[3]的结果。(d)我们的结果。请注意(c)处的树叶和分支周围的伪影。这是基于修补程序的方法的结果。虽然[5]也是基于面片的,并且不显示这些伪影,但是该方法低估了该图像中的雾度,因此深度间隙不明显。请注意,与(c)和(d)相比,(B)的树干中缺少细节。

图10.颜色聚类:左:无花果的作物。6a).权利:聚类图-每种颜色表示不同的雾线。南瓜的逐渐色调变化在聚类中被保留。

图11.顶行:清晰的白天图像和场景的地面真实深度。下面两行,从左到右:在恶劣天气条件下拍摄的图像,我们的结果和传输图。

5.3.复杂性分析

  我们的方法在N(图像中的像素数)中是线性的,因此速度很快。聚类是通过在具有固定点数的KD树上使用最近邻搜索来完成的。估计每个簇内的半径以N为线性。因此,初始半径估计是O(N)。求最小的方程。(15)需要求解稀疏线性系统,这也是O(N)。从透射图恢复去雾图像也是O(N)。

6.结论

  提出了一种新的非局部单图像去雾方法。该方法是基于这样的假设,即图像可以忠实地表示只有几百个不同的颜色。在RGB空间中,这对应于几百个紧密的颜色簇。我们表明,在一个朦胧的图像,这些紧密的颜色集群的变化,因为烟雾和形式的线在RGB空间,通过空气光坐标。我们提出了一个有效的算法来识别这些Haze-lines和估计基于它们的每像素传输。我们在正则化过程中考虑了估计的方差,因此只有符合模型假设的像素才对结果有贡献。
我们的方法可能会失败的场景中,空气光是显着比场景更亮。在这种情况下,大多数像素将指向相同的方向,并且将难以检测雾度线。
  与以前的方法相比,我们的算法是基于像素的,而不是基于补丁的。这使得我们的算法更快,更强大,更不容易的问题,如选择补丁大小,补丁平铺,和补丁与非均匀的内容。我们的方法进行了测试,并发现在许多现实世界的图像工作得很好。

7.确认

  T.T.得到了Leona M. and Harry B. Helmsley慈善信托基金和Maurice Hatter基金会的资助。本研究部分由 ISF 1917/15 号基金资助。

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: "图像去雾变换器与透射感知的3D位置嵌入"是一种用于图像去雾的算法模型。图像去雾是指通过降低或消除图像中的雾霾、模糊和变暗等现象,使得图像更加清晰和真实。这个模型的主要思想是结合了图像去雾和传输感知技术,并加入了3D位置嵌入的方法。 首先,这个模型通过传输感知技术来估计图像中的散射波分量和大气光照。传输感知是指通过分析图像中的传输特性,来恢复出原始场景的方法。这个模型会分析图像中的散射波分量和大气光照,从而能够更准确地进行去雾操作。 其次,模型还采用了3D位置嵌入的方法来提高去雾效果。3D位置嵌入是指将图像中的像素点的位置信息加入到模型中,从而能够更好地理解图像中的深度和空间结构。通过引入3D位置嵌入,模型能够更好地处理图像中的近红外图像和多层次场景,提高去雾效果的精度和稳定性。 总的来说,"图像去雾变换器与透射感知的3D位置嵌入"是一种应用传输感知和3D位置嵌入技术的图像去雾算法。它能够更准确地估计图像中的散射波分量和大气光照,同时加入了3D位置嵌入的方法提高去雾效果。这个模型在图像去雾领域有着较好的应用前景,可以帮助提高图像的质量和真实感。 ### 回答2: image dehazing transformer with transmission-aware 3d position embedding是一种用于图像去雾的转换器模型,它利用传输感知的三维位置嵌入来改善图像的可见度。 这个模型主要包括两个关键部分:转换器和传输感知的三维位置嵌入。 转换器是一个神经网络模型,它能够学习图像去雾的特征表示。通过对输入图像进行编码和解码,转换器能够自动地从雾化图像中提取出有用的信息。它通过多层自注意机制来捕捉图像中不同区域的关联性,并通过残差连接来保留原始图像的细节。 传输感知的三维位置嵌入是指将每个像素点的位置信息嵌入到模型中,以更好地理解图像中的深度和空间关系。这种嵌入技术可以帮助模型更准确地分析图像中光线的传输过程,从而改善图像去雾的效果。 通过将转换器和传输感知的三维位置嵌入相结合,该模型可以更好地理解图像中的物体位置、深度和光线传输情况,并根据这些信息进行有效的图像去雾处理。它能够减少雾化图像中的噪声和模糊,并提高图像的细节和清晰度。 总之,image dehazing transformer with transmission-aware 3d position embedding是一种结合了转换器和传输感知的三维位置嵌入的模型,用于改善图像去雾效果。它能够有效地提升图像的细节和可见度,为图像处理领域带来了新的突破。 ### 回答3: image dehazing transformer with transmission-aware 3d position embedding是一种用于图像去雾的转换模型,它结合了传输感知的3D位置嵌入技术。 去雾是指通过处理雾霾造成的图像模糊和对比度不足,使图像恢复清晰和细节丰富。传统的去雾方法通常使用图像处理技术,如滤波和增强对比度等,但效果可能有限。 image dehazing transformer with transmission-aware 3d position embedding利用了transformer模型,这是一种基于自注意力机制的神经网络模型。通过自注意力机制,模型能够学习全局和局部的图像特征。同时,模型还引入了传输感知的3D位置嵌入技术。 传输感知的3D位置嵌入技术可以捕捉到雾霾图像中物体的深度和位置信息。通过将这些信息与图像特征融合,模型能够更准确地理解图像中不同物体的投射和透射过程,从而更好地去除雾霾。这种技术可以提高模型对场景深度的感知和图像恢复的精度。 综上所述,image dehazing transformer with transmission-aware 3d position embedding是一种结合了transformer模型和传输感知的3D位置嵌入技术的图像去雾方法。它能够通过学习全局和局部的图像特征,并结合深度和位置信息,更准确地去除雾霾,恢复清晰的图像。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值