【荐读IEEE TPAMI】DeepM2M2CDL：深度多尺度多模态卷积字典学习网络

题目：DeepM2M2CDL: Deep Multi-Scale Multi-Modal Convolutional Dictionary Learning Network

DeepM2M2CDL：深度多尺度多模态卷积字典学习网络

作者：Xin Deng; Jingyi Xu; Fangyuan Gao; Xiancheng Sun; Mai Xu

源码链接： https://github.com/JingyiXu404/TPAMI-DeepM2CDL

---

摘要

对于多模态图像处理，由于模态间的复杂依赖性，网络的可解释性至关重要。最近，一个有前景的研究方向是通过展开策略将字典学习整合到深度学习中，以实现可解释的网络。然而，现有的多模态字典学习模型都是单层和单尺度的，这限制了其表示能力。在本文中，我们首先介绍了一个多尺度多模态卷积字典学习（M2CDL）模型，该模型采用多层策略执行，以粗到细的方式关联不同的图像模态。然后，我们提出了一个名为DeepM2CDL的统一框架，该框架源自M2CDL模型，用于多模态图像恢复（MIR）和多模态图像融合（MIF）任务。DeepM2CDL的网络架构完全匹配M2CDL模型