2017-SIGGRAPH-Google,MIT-(HDRNet)Deep Bilateral Learning for Real-Time Image Enhancements

双边网格
本质上是一个可以保存边缘信息的3维的数据结构。
 
对于一张2维图片, 在2维空间中增加了一维代表像素的强度
slice操作(上采样)

Bilateral Guided Upsampling这篇文章用双边网格实现图像的操作算子的加速。

算法的核心思想是将一幅高分辨率的图像通过下采样转换成一个双边网格, 在双边网格中每个格子就是一个图像的仿射变换算子, 它的原理是在空间与值域相近的区域内, 相似输入图像的亮度经算子变换后也应该是相似的, 因此在每个格子里的操作算子可以看成是输入/输出的近似曲线, 而对于双边网格中的不同格子, 通过给定输入和标签去训练整个双边网格实现其仿射模型的全局分段平滑, 最后通过上采样获得高分辨率的处理后的图像。

 
1.通过对原始图像进行下采样得到低分辨率的图像, 然后通过传统图像算子处理得到低分辨率下的训练标签（标签是右下角的图像）

2.通过在低分辨率的输入和标签训练得到双边网格的仿射变换参数

3.通过用双边网格对原始图像（低分辨率）进行操作(仿射变换和上采样(在双边网格里做，即slice))得到相应的传统图像算子相近似的处理效果

注：通过利用双边网格的特性可以通过GPU并行加速图像算子的运算

 
HDRNET存在两个数据处理流:

红色: 通过下采样的低分辨率图像输入CNN得到3D的双边网格参数，

紫色和绿色: 在原始分辨率上通过像素级操作得到Guidance Map, 然后通过3D的双边网格做仿射变换, 最后结合原图得到输出图

与Bilateral Guided Upsampling中的Slicing不同的是, 在HDRNET中, Slicing中的上采样参数是可以学习的, 是一种更加鲁棒的上采样方式.
http://simtalk.cn/2018/06/05/HDRNET/

这里重点在右上角黄色背景的这个模块，利用神经网络提取出一系