图像融合论文阅读：ReFusion：通过元学习的从可学习损失重建中学习图像融合

图像强

已于 2024-01-10 11:38:16 修改

阅读量1.7k

点赞数 31

文章标签：论文阅读图像融合图像处理深度学习论文笔记元学习

于 2024-01-10 11:29:14 首次发布

本文链接：https://blog.csdn.net/jiexiang5396/article/details/135473605

版权

@article{bai2023refusion,
title={ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss via Meta-Learning},
author={Bai, Haowen and Zhao, Zixiang and Zhang, Jiangshe and Wu, Yichen and Deng, Lilun and Cui, Yukun and Xu, Shuang and Jiang, Baisong},
journal={arXiv preprint arXiv:2312.07943},
year={2023}
}

论文级别：arXiv

影响因子：-

📖[论文下载地址]

💽[代码下载地址：暂无]
作者在摘要中写了The code will be released.但是我目前没有找到，有code的同学可以踢我一脚。

📖论文解读

首先我想说，这篇论文的题目好难翻译呀……也不知道翻译的对不对，好多个“学习”

基于深度学习的图像融合的一个主要挑战就是缺乏明确的ground truth和距离测度。因此需要手动设计损失函数以及相应的超参数，从而限制了模型的灵活性和泛化性。
为了解决这个问题，作者提出了ReFusion的统一的基于元学习的图像融合模型，该模型从重建源图像中学习最佳的融合损失。
ReFsuion由融合模块，损失提议模块（loss proposal module）以及重构模块构成。
采用参数化损失函数，该损失函数由损失建议模块根据特定的融合场景和任务动态调整。
使用元学习策略使重建损失不断细化损失建议模块的参数。自适应更新是通过内部更新、外部更新和融合更新之间的交替来实现的，其中三个组件的训练相互促进。

🔑关键词

图像融合，元学习

💭核心思想

基于元学习的思想，设计了一个可学习的自适应融合损失函数

🪅相关背景知识

深度学习
神经网络
图像融合
元学习

扩展学习
[什么是图像融合？（一看就通，通俗易懂）]
[一文通俗讲解元学习（Meta-Learning）]
[一文入门元学习（Meta-Learning）（附代码）]

🪢网络结构

作者提出的网络结构如下所示。

$I_a$ 、 $I_b$ 和 $I_f$ 分别表示源图像以及融合图像
$\hat I_a$ 和 $\hat I_b$ 分别表示重构的源图像

如下图所示，ReFusion由三个模块构成：
$\mathcal F(·)$ 是融合模块
$\mathcal R(·)$ 是重构模块
$\mathcal P(·)$ 是损失提议模块
其参数分别用 $\theta_\mathcal F$ 、 $\theta_\mathcal R$ 、 $\theta_\mathcal P$ 表示

$\mathcal L_f$ 表示可学习的参数化融合损失
$\mathcal L_r$ 表示重构损失，该损失不参与融合模块的更新
三个交替的学习阶段分别由下组成：
红色：内部更新采用当前提案融合损失
蓝色：外部更新利用重建损失来衡量内部更新的效果，并优化损失提案模块
绿色：在融合和重建更新阶段，融合模块根据提案的融合损失进行更新，重建模块也相应更新

简单的介绍完了，接下来让我们看看网络结构图。
在这里插入图片描述
和上面说的一样，红绿蓝三个模块交替学习

可学习的融合损失函数由损失提议模块 $\mathcal P$ 生成的两个独立输出对构成，每对与源图像维度相同。
这些“对”是根据源图像及其梯度计算的：
$\{[W_a,W_b], [V_a, V_b]\}=\mathcal P(I_a, I_b, ∇I_a, ∇I_b)$
其中， $W_a^{ij}+W_b^{ij}=1$ ， $V_a^{ij}+V_b^{ij}=1$ ，∇是sobel operator,计算梯度的

扩展学习
sobel operator

可学习的融合损失公式如下：
融合损失=强度损失+参数×梯度损失
在这里插入图片描述

$W_a^{ij}$ 和 $W_b^{ij}$ 指示了损失函数对于每个源图像强度信息的偏好，即强度权重
$V_a^{ij}$ 和 $V_b^{ij}$ 指示了损失函数对于每个源图像梯度信息的偏好，即梯度权重

重构损失的公式如下：
重构损失=强度损失+参数×梯度损失
在这里插入图片描述

融合训练数据集 ${I_a^{ftr}, I_b^{ftr}\}$ 划分为两个子集：
元训练集 ${I_a^{mtr}, I_b^{mtr}\}$
元测试集 ${I_a^{mts}, I_b^{mts}\}$

📉损失函数

上节已介绍

🔢数据集

MSRS
RoadScene

图像融合数据集链接
[图像融合常用数据集整理]

🎢训练设置

我们看这个过程，首先需要元训练集，对应模型总图的①，元测试集，对应②，以及融合训练集对应③。最终的输出是融合图像 $I_f$
在这里插入图片描述

🎢①内部更新

在内部更新阶段，希望使用提议损失 $\mathcal P$ 的当前状态定义的融合损失来更新 $\mathcal F$
输入元训练集 ${I_a^{mtr}, I_b^{mtr}\}$ ，融合网络 $\mathcal F$ 通过梯度下降进行单次更新：
在这里插入图片描述
W和V是 $\mathcal P$ 的当前输出，使用融合损失作为参数。
$\eta_{F^{\prime}}$ 代表用于更新融合模块的步长
${\mathcal F^{\prime}}$ 是 $\mathcal F$ 的临时代替，相当于自增自减的一个临时变量
同理，重建模块 $\mathcal R$ 的更新一样：
在这里插入图片描述

🎢②外部更新

外部更新的主要目标是细化损失建议模块 $\mathcal P$ ，通俗点来说，就是为了增强由损失函数 $\mathcal L_f$ 指导的融合模块 $\mathcal F$ 的有效性
在上一步中，内部更新的 ${\mathcal F^{\prime}}$ 和 ${\mathcal R^{\prime}}$ 体现了当前的教学能力（instructional capacity）
在此步骤中，利用元测试集 ${I_a^{mts}, I_b^{mts}\}$ ，基于重建损失 $\mathcal L_r$ 更新参数 $\theta_\mathcal P$ ，这里重建损失 $\mathcal L_r$ 是由 ${\mathcal F^{\prime}}$ 和 ${\mathcal R^{\prime}}$ 计算得到的：
在这里插入图片描述

更新后的损失建议模块 $\mathcal P$ 被细化，可以提议效果更好的融合损失函数

🎢③融合及重构更新

使用 $\mathcal F$ 的当前状态提升 $\mathcal P$ ，反过来细化后的 $\mathcal P$ 被进一步用来训练 $\mathcal F$
此步骤输入融合训练数据集 ${I_a^{ftr}, I_b^{ftr}\}$
通过融合损失 $\mathcal L_f$ 和重构损失 $\mathcal L_r$ 来更新 $\mathcal F$ 和 $\mathcal R$
在这里插入图片描述

具体算法伪代码为：
在这里插入图片描述

在一个epoch内，嵌套了两个循环
第一个循环内部是：

①内部更新：应用 $\mathcal P$
- 从元训练集 ${I_a^{mtr}, I_b^{mtr}\}$ 中采样图像对
- 计算相应的 $\{I_f^{mtr}, \hat I_a^{mtr}, \hat I_b^{mtr}\}$
- 根据公式7和8，计算 $\theta_{ \mathcal F^{\prime}}$ 以及 $\theta_{ \mathcal R^{\prime}}$
②外部更新：优化 $\mathcal P$
- 从元测试集 ${I_a^{mts}, I_b^{mts}\}$ 中采样图像对
- 计算相应的 $\{I_f^{mts}, \hat I_a^{mts}, \hat I_b^{mts}\}$
- 根据公式8更新 $\theta_p$

第二个循环内部是：

融合及重构更新：优化 $\mathcal F$ 和 $\mathcal R$
- 从融合训练数据集 ${I_a^{ftr}, I_b^{ftr}\}$ 采样图像对
- 计算相应的 $\{I_f^{ftr}, \hat I_a^{ftr}, \hat I_b^{ftr}\}$
- 根据公式11和12，更新 $\theta_\mathcal F$ 和 $\theta_\mathcal R$