HDR之双边滤波和引导滤波

---

3D LUT

提升感知质量(perceptual quality)是数码相机图像处理不可缺少的，一般通过级联的模块例如曝光补偿(exposure compensation), 色调/饱和度调整(hue/saturation adjustment), 颜色空间转换和修改(color space conversion and manipulation), 色调映射(tone mapping), 伽马校正(gamma correction)

• 数据集
  MIT-Adobe FiveK dataset

---

基于深度学习的增强方法可以分为两类

1. 学习一个像素到像素的映射(pixel-to-pixel mapping) or 预测一个像素级的变换(pixel-wise transformations)
2. 预测一系列预定义增强操作的概率和/或映射曲线的参数

The networks take down-sampled low-resolution (LR) images as input to predict which ones of the pre-defined operators and/or mapping curves should be used to enhance the given high-resolution (HR) source images
按照以前的方法，网络采用低分辨率(LR)的输入预测哪个预定义的操作和/或映射曲线应该被应用在高分辨率(HR)的源图像上

---

• framework
  
  3D LUTs 怎么学习的？

---

• 相机图像流程增强(enhancement in camera imaging pipeline)
• exposure correction [13, 14]
• color constancy [15, 16]
• constrast enhancement [17, 18]
• color manipulation [19, 20]
• tone mapping [21, 22]
  按照文献[1] 大部分操作在实际应用中都可以使用相同的技术, 例如1D or 3D LUT

---

• 后期调整增强(enhancement in photo retouching)
  专业的修图软件 + 专业的修图知识

---

• 基于样例的图像转换/增强(example-based photo transfer/enhancement)
  [26-33] 大多是图像风格转换

---

• 基于学习图像增强(learning-based pphoto enhancement)

---

• 3D LUT
  
  

给出一个RGB 的输入，他在3D LUT 中的坐标为：

其中

---

• 学习图像自适应的3D LUTs(learning image-adaptive 3D LUTs)
  传统的3D LUTs 有两个主要的缺点：一是人工设计；二是参数固定

---

• CNN model
  

---

• learning criteria
• pairwise learning
  
• unpaired learning

• regularzation

• smooth regularization
  
  
  没想通约束w_n 来增加smooth？

• monotonicity regularization
  
  一来保证亮度和饱和度；二来训练数据可能没有覆盖整个颜色空间

---

看图像效果好像还不如HDRNet

---

HDRNet

inspired by bilateral grid processing and local affine color transforms
predict the coefficients of a locally-affine model in bilateral space
make local, global, and content-dependent decisions to approximate the desired image transformation

---

Bilateral Guided Upsampling

这篇文章被誉为HDRNet 的先行版, 开篇这张图slice 也没有看懂, 看下面这个文章可以理解JBU。
文章想要做的是将在低分辨率上适合的操作运用到高分辨率图像上
双边网格+3D 放射矩阵(这个不太懂…)
看不懂这篇文章…

具体优化，一遍难以理解，可能需要再看一遍，然后看下源码, 还有一个py实现

---

Joint Bilateral Upsampling

一些图像问题都使用一个通用的处理方式——像素级别的处理
联合双边上采样(Joint bilateral upsampling)

• 双边滤波(bilateral filters)[1998]
  
• 导向滤波(guidance filters)[2004]
  
• 联合双边滤波(joint bilateral upsampling)
  
  
  参考这个pyJBU
• Tone mapping
  exposure map
  

---

痛心疾首的结束语，由于时间关系，想读懂这一系列文章，还需要补充阅读的论文是
bilateral grid, Chen 2007
Guided filter, He 2010
Fast guided filter, He 2015
我想看完以上几篇论文才能堪堪理解HDRNet 的做法和初衷，其实通过学习这样一个per-pixel 的系数并非易事，HDRNet 也并非没有缺点，但是提供了一个很好的思路。
如果有时间再将这一系列论文好好再拜读一遍，因为确实读一遍还是不足以看懂(🐶有生之年系列…)