Joint bilateral upsampling

摘要

这段话主要讨论了图像分析和增强任务中的一些技术问题和解决方案。具体来说，它描述了在处理如色调映射（tone mapping）、着色（colorization）、立体深度（stereo depth）和照片拼接（photomontage）等任务时，通常需要在像素网格上计算一个解决方案（比如曝光、色度、视差或标签）。由于这些任务在计算和内存上的成本较高，通常需要先在下采样的图像上运行一个较小的解决方案。

（注：下采样&上采样

下采样（Downsampling）：下采样是指减少数据量的过程，通常通过降低采样率来实现。在图像处理中，下采样意味着减少图像的尺寸，即减少图像的像素数量。这通常是通过删除一些像素或者合并相邻像素来完成的。下采样的目的是减少数据的存储需求和处理时间，但同时可能会导致信息的丢失，尤其是在高频细节丰富的图像中。

上采样（Upsampling）：又称为插值，是指增加数据量的过程，通常通过提高采样率来实现。在图像处理中，上采样意味着增加图像的尺寸，即增加图像的像素数量。这通常是通过在现有的像素之间插入新的像素，并为这些新像素计算合适的值来完成的。上采样的目的是提高图像的分辨率，使其更适合放大显示或进一步的处理。

）

平滑性先验（Smoothness Prior）：先验（Prior）通常指的是关于图像内容或图像处理任务的先验知识或假设。平滑性先验假设图像中的像素值在局部区域内变化不大

然而，尽管可以使用通用的上采样方法将低分辨率的解决方案插值到高分辨率，但这些通用方法通常假设插值过程中的平滑性先验。这段话的关键点在于，作者提出了一种新的方法，即在联合双边上采样（joint bilateral upsampling）过程中，可以利用可用的高分辨率输入图像作为一个先验，以产生更好的高分辨率解决方案。

作者还提到，他们将展示上述每种应用的结果，并将其与传统的上采样方法进行比较，总结来说就是强调了如何通过利用高分辨率图像的信息来改进上采样过程，从而得到更高质量的结果。

介绍

在计算机图形学和计算机视觉领域中，新出现的一系列图像分析和图像处理方法，这些方法包括自动和用户引导的算法。提到的方法有立体深度计算（stereo depth computations）、图像着色（image colorization）、高动态范围（HDR）图像的色调映射（tone mapping），以及最小割（minimal graph cuts）在图像合成中的应用。这些方法的共同问题在于寻找一个全局解决方案，即在输入图像的像素网格上描述某种感兴趣的值（如深度、色度、曝光、标签等）的分段平滑函数。

随着数字图像尺寸的不断增长，从数十万像素的视频帧到数百万像素的数字照片，再到由特殊相机产生的数十亿像素图像，以及通过拼接多个图像制成的全景图像，高分辨率对上述方法提出了挑战。这些方法通常至少需要线性时间和空间来计算全局解决方案，因此为了能够在高分辨率图像上操作，必须首先将其降采样到较低的分辨率，以使计算变得可行，这对于交互式应用尤其重要。

一旦在较小的降采样图像上得到解决方案，接下来的问题是如何将解决方案上采样到输入图像的完整原始分辨率。上采样是图像处理中的基本操作，通常通过将低分辨率图像与插值核进行卷积，然后在新的高分辨率网格上重新采样结果来实现。然而，以这种方式上采样的图像通常会因为线性插值滤波器固有的平滑性先验而出现锐利边缘的模糊。

作者提出，对于上述应用，原始高分辨率输入图像中存在额外信息。忽略这些信息，仅依赖平滑性先验显然不是最佳策略。作者建议利用手头的高分辨率图像以及低分辨率解决方案这一事实。特别地，作者展示了联合双边上采样（JBU）操作如何能够从非常低分辨率的解决方案中产生非常好的全分辨率结果，并展示了立体深度、图像着色、自适应色调映射和基于图割的图像合成方面的结果。