光场空间超分辨率论文笔记

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

一、Disentangling Light Fields for Super-Resolution and Disparity Estimation

动机：现实场景中是比较复杂的，LF图像中的空间信息和角度信息交织在一起，并且存在不同的视差，这让CNN利用信息线索比较困难
本文的贡献：
1.充分利用了各个角度的信息。
2.解耦机制将4D数据分解成几个子空间，只需要处理单个子空间的特征，使得LF表示学习更加简单。
3.机制是通用得，可以应用于不同得低频图像处理任务。
本文将光场图像的SAI转化成MacPI形式，并定义了在这种形式下的几种卷积来提取不同的特征。

如图3，这是一个MacPI形式的示例，不同的颜色代表不同的宏像素，不同的字母代表来自不同的SAI。
SFE:提取空间特征。由于同一个SAI中的像素被拆分到不同的位置，所以要使用膨胀卷积，即dilation = A，每次移动一个单位
AFE：提取角度特征。由于不同SAI在同一个位置的像素被提取到同一个宏像素里，所以卷积核大小为A×A
EFE-H和EFE-V类似，以EFE-H举例：提取水平方向的EPI特征，卷积核设计为1×A²，水平方向移动A个单位（不是A²个单位），竖直方向移动1个单位。

DistgSSR：先把SAI变成MacPI，然后经过一次SFE处理，然后经过四个Distg-Group级联，每个Distg-Group由四个Distg-Block组成。结构如图4（b）所示。特征经过四个平行的分支提取空间、角度、EPI上的特征。空间上是两次SFE，角度是先一次AFE产生中间角度特征，然后经过1×1的卷积和PixelSF-2D上采样。EPI特征（以水平方向为例）：先进行一次EFE-H处理，在用1×1卷积和PixSF-1D上采样。把四个特征concat起来，再进行1×1的卷积和SFE合并特征，并进行局部残差学习。经过四个Distg-Group处理后的特征与输入特征进行相加。然后进行上采样操作，先将MacPI转化成SAI，然后1×1卷积提高通道数，然后PixelSF-2D上采样，再1×1卷积把通道数变为1。

DistgASR:先把SAI转化成MacPI，然后经过SFE，然后经过4个Distg-Group，每一个group包含四个Distg-Block。Distg-Block结构如图7（b）和SSR网络有所区别，这里只进行角度和EPI上的特征提取，然后和输入特征进行concat起来，用1×1卷积缩小通道数，最后，利用包含两个SFE的空间残差块进行空间信息整合。然后进行角度上采样，由于本文的角度超分因子为7/2是个分数，不能直接上采样，所以采用先先下采样A倍，再上采样A×β倍。最后一个Distg-Group的输出结果，首先通过AFE产升角度下采样特征，然后1×1卷积用于通道扩展，然后进行pixSF上采样。然后SFE减少通道数，然后将MacPI转化成SAI。

DistgDisp：以MacPI作为输入，先用两个（SFE+BN+LReLU)处理，然后经过几个级联的Spatial Res-Block处理，Spatial Res-Block由SFE-BN-LeakyReLU-SFE-BN构成，块内部进行局部残差学习。然后再用两个（SFE+BN+LReLU)处理。cost volume construction阶段，对前面的 AFE改造，对不同的视差值，计算不同的dilation和padding值，本文的 disparity levels 为[-4，4]，也就是生成9个cost volume。然后把他们concat成一个5D的tensor，大小为B×9×C×H×W，B为batch size，C为通道数。然后用级联的8个3D卷积进行cost aggregation，产生一个3D的tensor，最后用softmax函数进行视差回归。

二、

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。