Invertible Image Signal Processing 可逆图像信号处理

摘要
未经处理的 RAW 数据是一种非常有价值的图像格式,可用于图像编辑和计算机视觉。然而,由于 RAW 数据的文件大小巨大,大多数用户只能访问经过处理和压缩的 sRGB 图像。为了弥合这一差距,我们设计了一个可逆图像信号处理 (InvISP) 管道,它不仅可以渲染视觉上吸引人的 sRGB 图像,还可以恢复近乎完美的 RAW 数据。由于我们框架固有的可逆性,我们可以重建逼真的 RAW 数据,而不是从 sRGB 图像合成 RAW 数据,而无需任何内存开销。我们还集成了一个可区分的 JPEG 压缩模拟器,使我们的框架能够从 JPEG 图像重建 RAW 数据。在两台 DSLR 上进行的大量定量和定性实验表明,与其他方法相比,我们的方法在渲染的 sRGB 图像和重建的 RAW 数据中获得了更高的质量。
1. Introduction
专业摄影师可以选择自己处理 RAW 图像而不是 RGB 图像,以产生具有更好视觉效果的图像,因为 RAW 数据由相机以 12-14 位捕获每个未处理的场景辐照度。由于其与场景辐照度的线性关系,对于许多图像编辑和计算机视觉任务,例如光度立体、固有图像分解、图像去噪、反射去除和图像超分辨率,原始传感器数据也是比 RGB 图像更好的选择 [4] , 7, 16, 27, 28, 31, 40, 41, 46]。然而,由于 RAW 图像对内存的要求很高,因此访问它们可能会非常困难:RAW 图像可能会在数据存储、传输和共享过程中被丢弃。在本文中,我们对以下问题感兴趣:用户能否在不显式存储的情况下访问真实的 RAW 数据?
由于RAW图像的巨大优势,已经有许多方法来提供从sRGB图像到其RAW对应图像的映射[2, 7, 30, 32, 37, 45]。 Nguyen等人[32]建议将sRGB-RAW映射函数的参数明确地存储到JPEG元数据中,以便进行预期的RAW重建。Brooks等人[7]利用相机的先验信息(如色彩校正矩阵和数字增益)来逐步逆转ISP。另一项工作[30, 37, 45]遵循ISP的逆向顺序,提出了基于学习的方法,从sRGB图像合成RAW数据。然而,这些方法仍然依赖于底层的相机内ISP管道,恢复的RAW图像是不准确的,可能与原始图像不同。
在这项工作中,我们通过将相机图像信号处理管道重新设计为可逆管道,提出了一种新颖有效的学习解决方案,可以恰当地称为可逆 ISP (InvISP)。我们基于学习的 InvISP 能够在正向过程中渲染视觉上吸引人的 RGB 图像,并通过反向过程从压缩的 RGB 图像中恢复近乎完美质量的原始传感器数据。我们重建的 RAW 数据与真实的 RAW 数据几乎相同,并支持计算机视觉应用,例如图像修饰和 HDR 重建,如图 1 所示。
出于至少三个原因,设计可逆 ISP 并非易事。首先,传统 ISP 中的一些步骤,例如去噪、色调映射和量化,可能会导致从宽范围(12 位或 14 位)原始传感器数据到 8 位 RGB 图像的不可避免的信息丢失。其次,可逆 ISP 不应产生光晕和重影等视觉伪影 [18]。为了呈现视觉上吸引人的 sRGB 图像,必须在 ISP 中仔细设计去噪、去马赛克、色彩校正、白平衡增益、色调映射和色彩增强。第三,现代数码相机以 JPEG 格式存储 RGB 图像,其中有损压缩过程使得重建高质量 RAW 数据极具挑战性。
为了克服这些挑战,我们利用基于归一化流的模型的固有可逆性 [12、25],并在我们的可逆 ISP 中使用一个可逆神经网络设计 RAW 到 RGB 和 RGB 到 RAW 映射。我们深入分析传统ISP的特性,设计出既能很好地逼近相机ISP又能重建出与相机RAW数据几乎相同的RAW数据的特定模块。具体来说,我们使用仿射耦合层堆栈的组合来设计我们的模型,并利用可逆的 1×1 卷积作为耦合层之间的可学习置换函数。此外,为了使我们的模型能够从 JPEG 图像中恢复真实的 RAW 数据,我们将可区分的 JPEG 模拟器集成到我们的可逆神经网络中。我们利用傅里叶变换的思想来取代 JPEG 压缩中的不可微分量化步骤。因此,我们的端到端 InvISP 框架绕过了传统的 ISP 模块,并最大限度地减少了 RAW 数据和 RGB 图像转换的信息损失。我们双向训练我们的网络以联合优化 RGB 和 RAW 重建过程。我们通过实验证明,我们的框架可以在不牺牲 RGB 重建性能的情况下恢复比最先进的基线更好的 RAW 数据。
据我们所知,我们的框架是从将相机 ISP 重新设计为可逆 ISP 的角度进行 RAW 数据重建的第一次尝试。我们的方法可以解决 ISP 模块中的信息丢失问题,并且对 JPEG 压缩步骤具有鲁棒性。我们证明了我们的方法在两个 DSLR 相机上的有效性,并表明我们的方法在很大程度上优于最先进的基线。此外,我们还通过 RAW 数据压缩、图像修饰和 HDR 重建展示了潜在的应用。
在这里插入图片描述
图 1. 我们的 ISP 模型不仅可以渲染视觉上令人愉悦的 RGB 图像,还可以恢复与原始 RAW 数据几乎相同的 RAW 图像。恢复的 RAW 数据对摄影师很有价值,并且有利于许多计算机视觉任务,例如 HDR 重建 [33]、图像修饰 [22] 和 RAW 压缩。在这里,RAW 图像通过双线性去马赛克可视化。
2. Related Work
RAW图像重建。从sRGB图像中恢复RAW已经被充分研究了[37, 32, 2, 7, 45, 31, 30]。Nguyen等人[32]将ISP中的参数编码为JPEG元数据,开销为64KB,并使用它们从JPEG图像中重建RAW。Brooks等人[7]提出用相机先验条件一步步反演ISP管道。CIE-XYZ网[2]建议将RAW从sRGB图像恢复到独立于相机的CIE-XYZ空间。 CycleISP[45]提议对RGB-RAW-RGB数据转换周期进行建模,以便从sRGB图像中合成RAW。 与之前的方法不同,我们的目标是通过重新设计相机的ISP,使其成为一个可逆的ISP,从而从根本上解决RAW重建问题。
图像信号处理(ISP)。图像信号处理管道(ISP)旨在将原始传感器数据转换为人类可读的RGB图像[20, 10, 9, 40, 46, 44, 29, 26, 16]。 Heide等人[20]合并了传统ISP管道中的步骤以避免累积误差。Gharbi等人[16]提出了一种带有端到端网络的方法来共同学习RAW去马赛克和去噪。Hasinoff等人[19]提出一个用于移动设备的低光成像系统。其他的工作[10, 40]侧重于用CNN学习低光增强ISP管道。Zhang等人[46]用U-net[39]处理RAW的超分辨率任务,以保留高频信息。CameraNET[29]将ISP分成两个学习阶段,用于CNN。与以往工作中采用的编码器-解码器式的网络不同,我们证明了可逆神经网络在ISP管道中拥有巨大的潜力,并能实现精确的RAW重建。
可逆神经网络。基于归一化流的可逆神经网络[21, 25, 11, 12]已经成为图像生成任务中的一个流行选择。归一化流通过一系列的可逆变换将简单的后验分布转化为复杂的真实世界分布。NICE[11]是第一个基于学习的归一化流框架,提出了加性耦合层。RealNVP[12]将加法耦合层修改为乘法和加法,并以交替的方式组成耦合层,使所有的输入都能以相同的机会被改变。Kingma等人[25]提出了ActNorm层,并用可逆的1×1卷积概括了通道洗牌操作。Flow++[21]将仿生耦合层修改为物流混合CDF耦合流,并应用了自我注意模块。
3. Traditional ISP analysis
现代数码相机应用一系列操作,形成图像信号处理管道 (ISP),将 RAW 数据渲染为人类可读的 RGB 图像。这些操作包括白平衡、去马赛克、去噪、色彩空间变换、色调映射等 [24]。传统上,ISP 的每一步都需要针对特定​​相机进行劳动密集型调整,而反转传统 ISP 步骤非常具有挑战性。在本节中,我们分析了传统 ISP 中存在信息丢失的现有模块。我们表明,传统 ISP 中的有损步骤限制了一系列旨在从 sRGB 图像合成 RAW 的作品 [32、7、45] 的 RAW 重建性能。与之前的工作不同,我们将 ISP 重新设计为端到端的可逆 ISP,可以绕过传统模块,最大限度地减少 RAW 数据和 JPEG 图像转换过程中的信息丢失,从而进一步恢复高质量的 RAW 数据。
***量化和色调映射。***去马赛克和伽马压缩等一些ISP步骤可能涉及浮点运算,因此量化将数据转换为整数类型是不可避免的。例如,舍入函数理论上可以给像素带来(-0.5,0.5)强度误差。然而,在 ISP 的情况下,色调映射步骤可以将强度误差放大到 ±0.5 以上。色调映射曲线通常设计为 S 曲线,将高强度值和低强度值压缩超过中强度值 [38, 5]。如图 2 所示,对于 14 位原始图像,伽马压缩使 [16313, 16383] 处的像素强度在归一化为 (0, 255) 后全部舍入为最大强度 255。此步骤可能会导致此单个像素出现 0.004 RMSE 误差。因此,对于现有作品 [32、7、45] 来说,直接从其 8 位 sRGB 对应物合成 14 位 RAW 数据具有挑战性,尤其是在曝光过度的区域。我们在图 5 中展示了我们恢复的 RAW 与之前作品的比较。我们的方法可以保留更多的 RAW 数据细节,即使是在高强度像素处。
在这里插入图片描述
图 2. 游戏和行业中使用的一些流行色调映射曲线 [38, 5]。虽然色调映射函数本身是无损的,但随后的量化会导致曝光过度和曝光不足的像素中的信息大量丢失。例如,在14位线性RAW图像中,位于[16313, 16383]的像素强度将全部量化为8位RGB图像的最大像素强度255。
超出范围的值裁剪。值裁剪是将原始值归一化到合理范围内的常见步骤,这可能发生在色彩空间变换、去马赛克、去噪和色调映射之后 [1,15,35,14]。最常用的值裁剪操作类似于 min(max(x, 0), 1),它将丢弃曝光过度和曝光不足区域的超出范围的像素。请注意,这会限制进一步调整的图像容量。此外,传统的 ISP 由专家手动隔离调整,这会累积 ISP 步骤之间的剪辑错误,从而导致进一步的信息丢失。我们的端到端管道联合优化了所有 ISP 步骤并缓解了剪辑错误累积问题,以恢复更逼真的 RAW 图像。
JPEG 压缩。现代数码相机以JPEG格式存储RGB图像,其信息丢失进一步给RAW图像重建带来挑战。 JPEG 编码管道包括四个主要步骤:颜色空间变换、离散余弦变换 (DCT)、量化和熵编码 [34]。实际上,量化是 JPEG 压缩中唯一有损且不可微分的步骤。请注意,JPEG 信息丢失很难恢复。因此,我们通过将 JPEG 压缩程序集成到我们的网络优化过程中来采取折衷的步骤来减轻信息丢失。
为实现这一目标,我们通过仔细模拟 JPEG 压缩过程并用可微分的傅里叶变换替换量化步骤,设计了一个可微分的 JPEG 模拟器。
4. Method
4.1.可逆图像信号处理 (InvISP)
我们将 RAW 数据空间表示为 X,将 sRGB 数据空间表示为 Y。我们的目标是找到可以将数据点从 RAW 数据空间映射到 sRGB 数据空间的可逆双射函数,表示为 。为实现这一点,经典神经网络需要两个独立的网络来分别逼近 X → Y 和 Y → X 映射,这会导致不准确的双射映射,并可能将一个映射的误差累积到另一个映射中。我们采用另一种方法并使用 [12, 25] 中的仿射耦合层来实现单个网络的可逆性。我们用一堆可逆和易处理的双射函数在这里插入图片描述的组合来设计我们的可逆 ISP,即 。对于给定的观测数据样本 x,我们可以推导出对目标数据样本 y 的转换:

双射模型在这里插入图片描述是通过仿射耦合层实现的。在每个仿射耦合层中,给定 D 维输入 m 和 d < D,输出 n 计算为:
在这里插入图片描述
其中 s 和 t 表示来自在这里插入图片描述的缩放和平移函数,在这里插入图片描述是 Hadamard 积。请注意,缩放和平移函数不一定是可逆的,因此我们通过神经网络实现它们。
如[12]所述,耦合层使一些输入通道没有变化,这大大限制了该架构的表征学习能力。为了缓解这个问题,我们首先通过以下方式增强[43]耦合层(3)的作用
在这里插入图片描述
其中 r 可以是 中的任意函数。反向步骤很容易获得
在这里插入图片描述
接下来,我们利用 [25] 中提出的可逆 1×1 卷积作为可学习置换函数来反转下一个仿射耦合层的通道顺序。

我们删除了空间棋盘掩码(spatial checkerboard mask),因为它没有带来明显的性能改进 [25]。我们遵循 [10] 的实现并禁用 [12] 中使用的批量归一化 [23] 和权重归一化。对于我们的图像到图像转换任务,我们直接学习 RAW 到 RGB 映射,而无需显式建模潜在分布以稳定训练过程。

图 3. 我们的可逆 ISP (InvISP) 框架。 InvISP 由前向和反向通道组成。在前向传递中,拜耳 RAW 首先被双线性去马赛克,然后通过一堆双射函数 aaa 转换为 RGB 图像。我们的模型集成了一个可区分的 JPEG 模拟器来解决压缩信息丢失的问题。在训练期间,为了反转 ISP,向后传递将压缩的 RGB 图像作为输入并反转所有双射函数和双线性去马赛克以获得原始 RAW 图像。请注意,反向传递在测试时将真实的 JPEG 图像作为输入。我们在右侧说明了可逆块的细节。 r、s 和 t 是双射函数 在这里插入图片描述中定义的变换。
请注意,可逆神经网络的输入大小必须与输出大小相同。因此,我们将双线性去马赛克 RAW 数据作为输入,这不会破坏 RAW 数据质量,并且逆向双线性去马赛克是微不足道的 [7]。对于仿射耦合层,我们将输入分成两部分。我们注意到,虽然三通道输入不能均匀分割,但可逆 1×1 卷积确保未更改的组件在下一个可逆块中更新。因此,R、G 和 B 通道仍然被平等对待。我们还对 RAW 数据进行在线伽马校正(即不存储在磁盘上)以压缩动态范围以加快收敛速度​​。
我们的 InvISP 的正向传递产生 sRGB 图像,反向传递旨在恢复逼真的 RAW 数据。我们使用 L1 损失进行双向训练以优化我们的框架。
其中 λ 是用于平衡 RGB 和 RAW 重建精度的超参数。我们在主要实验中将 λ 设置为 1。
4.2. Differentiable JPEG Simulator
我们的目标是训练一个稳健的可逆ISP,它可以容忍JPEG压缩的失真,以恢复准确的RAW。然而,JPEG压缩算法不可微分的,它不能直接集成到我们的端到端框架中。因此,我们提出了一个可微分的JPEG模拟器,以使我们的网络能够通过优化过程对JPEG压缩进行鲁棒。由于熵编码是无损的并且在量化之后进行,我们跳过这一步,只模拟色彩空间转换、DCT和量化步骤。
为了模拟 DCT 过程,我们计算 DCT 系数并将输入分成 8 × 8 块。然后每个块乘以DCT系数得到DCT图。在 JPEG 压缩中,DCT 图被量化表分割并四舍五入到整数类型。由于舍入函数不可微,我们设计了一个基于傅立叶级数的可微舍入函数,定义为:
在这里插入图片描述
其中I是JPEG压缩中除以量化表后的输入图,K用于近似精度和计算效率之间的权衡。 随着K的增加,模拟函数更接近真实的四舍五入函数(round function),但运行时间也会增加。我们根据经验将K设置为10。图4说明了四舍五入(rounding)的过程。
在JPEG压缩的解码阶段,I乘以量化表。然后应用逆 DCT 和色彩空间变换来重建模拟的 JPEG 图像。
Discussion.
可微舍入函数广泛应用于网络量化研究。为了公平地证明我们提出的舍入函数的有效性,我们还与 [17] 中的舍入函数进行了比较,如表 1 所示。我们的方法可以在 RGB 渲染和 RAW 重建之间实现更好的平衡。
在这里插入图片描述
表 1. 我们的模型和基线之间的定量评估。各种感知指标表明我们提出的 ISP 模型优于所有基线。我们使用建议的傅里叶量化的 JPEG 模拟方法优于其他两种替代模型。
5. Experiments
5.1. Experimental setup
数据集。我们从 MIT-Adobe FiveK 数据集 [8] 中收集佳能 EOS 5D 子集(777 个图像对)和尼康 D700 子集(590 个图像)作为训练和测试数据。我们分别为每个相机训练我们的模型。我们将两组(佳能、尼康)中的每一组随机分成训练集和测试集,比例为 85:15。我们使用 LibRaw 库处理 RAW 图像以渲染真实的 sRGB 图像。总的来说,LibRaw 进行了现代数码相机中最具代表性的 ISP 步骤来渲染 sRGB 图像,包括色彩空间转换、去马赛克、去噪、白平衡、曝光补偿、伽马压缩和全局色调映射。
实施细节。我们利用随机裁剪、随机旋转和随机翻转作为数据增强来训练我们的模型。我们使用相机元数据提供的白平衡参数对原始数据进行预处理,因为直接从原始图像估计白平衡本身就是一个研究课题 [3]。为了测试我们的 JPEG 模拟器的有效性,我们将 ground truth RGB 存储为 JPEG 格式,其质量设置为 90(Q=90,现代数码相机中最具代表性的 JPEG 质量)。我们还在没有预处理白平衡和另一种 JPEG 质量的情况下进行实验,其定量结果可在补充中获得。在测试时,我们首先对我们的网络进行前向传递以渲染 RGB 图像并将它们保存为 JPEG 图像。然后我们加载保存的 JPEG 图像并执行逆步骤以恢复 RAW 图像。
在这里插入图片描述
图5. UPI[7]、CycleISP[45]和我们的方法之间的定性比较。UPI和CyleISP从8位压缩的RGB合成RAW数据,不可避免地受到传统ISP的信息损失。与他们不同的是,我们的模型形成了一个RAWRGB-RAW循环,并且在本质上是可逆的,可以恢复真实的RAW图像。GT RAW图像通过双线性去马赛克实现可视化,其他RAW图像通过误差图实现可视化。此图最好在电子版中查看。
5.2. Baselines
UPI。布鲁克斯等人。 [7] 取消处理 sRGB 图像以合成高质量的 RAW 图像,用于学习 RAW 去噪。他们采用相机先验来逐步逆向 ISP,例如数字增益、色调映射曲线、白平衡和色彩校正矩阵 [7]。由于颜色校正矩阵、白平衡和数字增益等元数据依赖于相机,因此我们在其方法中修改了这些参数以适合我们的数据集。我们使用他们描述的方法来估计我们数据集的元数据。
U-net。在最近几年的出版物中,U-net是ISP的代表性架构[10, 46],因此我们使用U-net[39]实现了一个编码器-解码器基线。编码器和解码器都是由一个独立的U-net组成。 与文献[10, 46]一样,我们将拜尔模式的RAW打包成RG-B通道,作为编码器的输入,并利用深度空间操作来恢复RGB分辨率。我们利用与我们的InvISP相同的数据增强策略。我们在所有的数据集上使用L1损失从头开始联合训练我们的U-net基线的编码器和解码器。
Invertible Grayscale。 Invertible Grayscale [42] 是学习两个空间(例如彩色图像空间和灰度图像空间)之间正向和反向映射的通用框架。 Invertible Grayscale 的编码器将 3 通道 RGB 图像作为输入并将其处理为单通道灰度图像。解码器从灰度图像中恢复出具有相同颜色的原始 sRGB 图像。与他们的设置类似,我们在双线性去马赛克后将输入从 sRGB 图像更改为 RAW 数据,并将编码器的输出设置为 3 通道 RGB 图像。由于亮度损失函数不适合我们的任务,我们在实验中将其移除。

图6. 与基线的比较。Invertible Grayscale[42]未能在RGB渲染和RAW恢复之间学习到良好的平衡,这导致在RGB和RAW图像中的表现都相对较差。U-net[10]可以呈现与我们相当的RGB性能,但在RAW恢复方面表现更差。我们的可逆ISP既能呈现视觉上令人愉悦的RGB图像,又能重建真实的RAW数据。GT RAW是通过双线性去马赛克可视化的,而其他RAW图像是通过误差图可视化的。此图最好在电子版中查看。
5.3. Results
定量结果。为了定量评估我们的方法,我们对渲染的 RGB 图像使用 PSNR 和 SSIM,对恢复的 RAW 图像使用 PSNR。表 1 报告了与基线的比较。与 RAW 合成方法 UPI 和 CycleISP 相比,我们的模型可以恢复更准确的 RAW 数据,PSNR 超过 13 dB 的改进证明了这一点。结果并不令人惊讶,因为 ISP 中丢失的大量信息很难反转,这导致合成 RAW 重建方法的性能不佳。然而,我们的 InvISP 可以联合优化 RGB 渲染和 RAW 恢复过程,从而更好地处理 ISP 中量化、JPEG 压缩和饱和值裁剪问题中丢失的信息。对于可逆灰度和 U-net 基线,结果表明我们的方法有助于提供更好的 ISP 以及更强大的恢复 RAW 数据的模型。这是因为对 ISP 和反向 ISP 使用两个单独的网络会导致错误累积问题,从而进一步降低 RAW 重建性能。我们的方法采用可逆神经网络固有的可逆性,因此可以恢复比基线更高质量的 RAW 图像。
定性结果。我们在图 5 和图 6 中显示了与基线方法的定性比较。在图 5 中,CycleISP 和 UPI 合成的 RAW 与地面真实 RAW 图像有很大不同,尤其是在过度曝光的区域,这表明他们的模型处理性能不佳ISP 的信息丢失。然而,我们的模型可以比合成 RAW 方法更好地恢复 RAW 信息,即使在具有挑战性的高光像素下也是如此,这提高了预期照片编辑任务的潜力。在图 6 中,Invertible Grayscale 未能在 RGB 渲染和 RAW 重建之间寻求良好的平衡。我们朴素的 U-net 基线可以在 RGB 渲染方面实现相当的性能,但在 RAW 恢复方面表现不佳。我们的方法在不牺牲 RGB 渲染性能的情况下,在边缘和过度曝光区域重建更高质量的 RAW 图像。

图 7. 我们的模型可以启用图像修饰 image retouching [22] 和 HDR 重建 [33] 应用程序。请注意,我们使用 [22] 的预训练模型进行修饰。
6. Applications
6.1. RAW data compression
我们框架的一个重要应用是相机的 RAW 数据压缩。传统上,用户需要明确存储 RAW 数据以供进一步应用。然而,使用我们的技术,只需要存储 JPEG 图像,用户可以从 JPEG 图像重建相应的 RAW 数据。为了评估减小的文件大小,我们计算了压缩率和每像素位数 (BPP)。压缩比 Cratio [36] 的计算公式为

其中 BBMP 是 BMP 格式的 RAW 数据的文件大小,BJP EG 是 JPEG 格式的渲染 sRGB 图像的文件大小。请注意,BBMP 由 [6] 计算得出

其中 H、W 和 b 是 RAW 数据的高度、宽度和位深度。我们进一步将我们的压缩效果与 Adob​​e 有损 DNG 进行比较。如表 2 所示,即使与有损 DNG 相比,文件大小也大大减少了。
在这里插入图片描述
表 2. 我们的方法与有损 DNG 的文件大小和每像素位数 (BPP) 的压缩率比较。我们的框架显着减小了文件大小。
6.2. Image retouching
专业摄影师选择从 RAW 数据润饰图像以获得更好的视觉质量。我们证明我们恢复的 RAW 可以直接作为高质量图像修饰的输入。我们以基于自动深度学习的图像修饰方法 Exposure [22] 为例。我们按照论文[22]的设置,通过去马赛克和白平衡对恢复的RAW和ground truth RAW进行预处理。我们直接利用他们的预训练模型,该模型也在 MIT-Adobe FiveK 数据集上训练。如图 7 所示,我们重建的 RAW 数据与相机捕获的 RAW 数据具有无法区分的视觉质量。
6.3. HDR reconstruction and tone manipulation
从单个低动态范围输入推断高动态范围图像具有挑战性 [13, 14],因为饱和和曝光不足区域中丢失的信息很难准确反转。我们的可逆 ISP 框架从根本上缓解了这些困难,从而实现了单图像 HDR 重建。此外,可以对恢复的 HDR 图像进行色调映射,以显示比原始 RGB 输入更多的细节。在图 7 中,我们使用 [33] 作为色调映射器来展示我们方法的潜力。
7. Conclusion
我们提出了一个端到端的可逆图像信号处理 (InvISP) 框架来生成视觉上令人愉悦的 RGB 图像并恢复近乎完美质量的 RAW 数据。我们利用可逆神经网络的思想来设计我们的可逆结构,并集成可微分的 JPEG 模拟器以增强网络对 JPEG 压缩的稳定性。我们使用 LibRaw 在 MIT-Adobe FiveK 数据集上模拟 groundtruth ISP。我们通过与其他框架和 RAW 数据合成方法的比较来评估我们的方法。我们还展示了我们的框架支持 RAW 数据压缩、图像修饰和 HDR 重建任务。我们希望我们的方法能够激发对 RAW 图像重建的进一步研究。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【课程简介】 本课程基于面向Python的OpenCV,以OpenCV的官方文档的知识脉络为主线,介绍了OpenCV函数的具体使用方法、函数所使用的算法的具体原理。 在介绍函数使用时,提供了大量的程序案例演示。 在介绍具体原理时,采用了通俗易懂的语言和贴近生活的示例来说明问题,尽量避免涉及过于复杂抽象的公式。 课程包含数字图像处理的常用知识点,覆盖面全,方便学员系统深入全面地掌握OpenCV。 【你将收获什么】 1.  掌握数字图像的在计算机内表示的方法和处理的基本原理。掌握数字图像的表示方法是进行图像处理的前提和基础,能够为后续的智能图像处理打下坚实基础。 2.  使用好OpenCV开源库对于提升工作效率具有很大的帮助。OpenCV是优秀的开源库,提供了大量的函数帮助我们提升工作效率。大多数情况下,我们直接调用函数就能够满足我们的需求。同时,它的函数具有较好的交互性,能够根据需要更好地掌控图像处理的具体细节。 3.  学习图像处理的常用算法。课程不仅介绍函数的具体使用,也介绍了常用算法的基本原理,帮助学习者更好地理解图像处理的基本逻辑、方法,快速入门图像处理领域。 【我将如何教你】 1)在“黑盒”和“白盒“之间取得平衡  可以将OpenCV看成“黑盒”,不用关心其函数是如何实现的。在需要实现某一个功能时,直接调用其对应的函数即可,像使用Photoshop的各种功能一样。也可以将OpenCV看成“白盒”,关注其每一个函数的具体实现,认真研究每一个函数的具体实现方法和实现细节。这两种方式都是学习图像处理的很好方式,但是大多数课程过于强调其中某一种,要么忽略了算法的实现、要么忽略了使用方法。本课程尽量将OpenCV在“黑盒”和“白盒”之间取得平衡。既介绍算法的原理和方法,又将重点放在如何调用函数上,让学习者能够更加游刃有余地在计算机视觉项目中使用OpenCV来解决具体的问题。 2)将枯燥的算法采用具体的案例介绍  在图像处理中,有大量的算法保证了图像处理的准确、高效。OpenCV将一些常用的算法进行了封装,我们可以直接调用OpenCV的函数来使用对应的算法。但是,深入地理解算法能够帮助学习者更好地使用OpenCV函数。本课程尝试抛弃传统的使用复杂公式介绍算法的形式,尽量通过简单、通俗易懂的生活中实例来帮助学习者理解算法的基本逻辑 3)案例驱动、强调实战 OpenCV是一个庞大的资源库,提供了非常多的函数帮助我们高效地处理问题。初学者使用OpenCV的最大困惑就是熟练地掌握了每一个函数的调用方法,但是在解决实际问题时,不知道具体应该使用哪个函数。本课程通过大量的具体案例帮助学习快速掌握每个函数的应用场景,快速掌握OpenCV的核心使用方法和技巧。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值