AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement 论文阅读笔记

• 这是CVPR2022的一篇图像质量增强的论文，提出用值对应的方式来增强图片，同时不同于以往的值对应方法（均匀分布采样点），这个方法能够有针对性地在某些区间使用更密集的点来实现高度的非线性曲线，在某些仅需要简单线性关系的区间使用稀疏的点来节约查表的存储空间。基于全局曲线进行增强的方法也可以看作是一种1D look up table的方法。
• 方法的流程图如图所示，首先将输入的图片下采样送进网络，网络的输出是一系列采样点的RGB值之间的intervals和basisi LUT的加权值。
• 作者提出，原有的3DLUT方法预测image-dependent的权重融合多个预设的image-independent的3DLUT，但是其适应性还是不够。文章则提出在加权融合后的3DLUT上进行image-dependent的采样，从而实现进一步的适应性。
• 网络输出的intervals部分是$3\times (N_s-1)$，表示3个通道各自的$N_s$个采样点之间的$N_s-1$个间隔，并且对各个通道进行softmax使得其落在0-1之间且和为1.随后对这些intervals进行累加产生采样点的坐标。
• 对于输入图片的一个像素，在RGB通道分别找到相邻的左右两个采样点，6个点产生8个RGB坐标（长方体的6个面相交了8个顶点）包围住输入的RGB坐标，如下图所示。而输出的RGB值是这8个RGB坐标在加权平均后的basic LUT中对应的输出RGB的trilinear插值平均，从而采样点的坐标也算进了表达式（trilinear插值）从而可以被梯度回传训练到，而basic LUT同样也可以训练到（它的公式表达写得不太好，有点误导性，这里就不放了，反正是算邻域坐标点然后根据这8个点进行插值平均）：
  
• 损失函数延续了3DLUT这篇论文，没有做修改，就是MSE Loss和smoothness loss和monotonicity loss：
  
• smoothness loss是basic LUT的TV loss加预测权重的L2正则：
  
• monotonicity loss是对basic LUT要求单调递增，这里的g是ReLU:
  
• 实验结果看起来PSNR相比3DLUT差别不是很大：
  
  视觉效果也差别不是很大