立体图像超分辨的机遇与挑战

1. 双目图像中视差的巨大变化使得左右图互补信息难以被充分捕捉。针对此，PASSRnet引入了视差注意力机制，可以沿极线方向建立左右图的关联。AAAI2020与SPL2020的两个工作也都是沿此思路进行的。未来的工作可以探索除视差注意力机制之外的双目图像信息关联体制。
2. 在捕捉到左右图的关联后，如何充分利用双目图像提供的信息也具有挑战性。AAAI2020论文的SPAMnet算法提出了双目图像特征一致性先验，SPL2020论文的SAM通过左右路特征的交互来加强双目信息利用，均实现较PASSRnet更优越的性能。而在克服遮挡问题方面上，PASSRnet、SPAMnet和SAM均采用PASSRnet提出的Valid Mask思路。
3. 双目图像超分辨在充分结合左右图的互补信息的同时还要充分利用一幅图内的信息。当前领域内的双目图像超分辨算法性能仍落后于某些单图超分辨算法，这说明单幅图内的信息并未被充分挖掘与利用。因此，设计高效的网络结构同时利用好这两种信息是具有挑战性的。目前SPL2020的SAM论文在这方面做出了初步探索，性能还有较大的提升空间。未来工作可以参考领域内最新的单图超分辨算法（例如RCAN、SAN、IMDN等），考虑如何在结合左右图互补信息的同时不丢失单图内部的信息，从而实现在单图超分辨的基础上提升性能，还可以考虑如何将单图超分辨算法学习到的先验知识利用到双目图像超分辨中（例如进行知识蒸馏等）。
4. 双目图像数据集在数量、质量和多样性方面仍处于劣势。虽然Flickr1024数据集较大程度上丰富了双目图像超分辨算法的训练集，但是相比于单图超分辨算法的训练集（例如DIV2K）而言，双目图像数据集仍然在数量、质量、场景多样性方面存在弱势，从而限制了双目图像超分辨算法的性能。而受限于设备，获取双目图像数据集比获取单图数据集难度更大。未来的工作可以考虑构建更高质量的双目图像数据集。