脉冲视觉-图像重建-Spk2ImgNet

最新推荐文章于 2024-10-03 07:17:26 发布

小小乐^_^

最新推荐文章于 2024-10-03 07:17:26 发布

阅读量987

点赞数 22

文章标签：计算机视觉深度学习视频卷积神经网络

本文链接：https://blog.csdn.net/m0_51483144/article/details/140572698

版权

一、简介

Spk2ImgNet即脉冲到图像的神经网络，一种分层架构，以逐步利用脉冲流的时间相关性。首先，提出了一个空间自适应的光推理子网来利用局部时间相关性，产生不同时刻的基本光强估计。然后，利用金字塔可变形对齐来对齐中间特征，以便特征融合模块可以利用长期时间相关性，同时避免不希望出现的运动模糊。

二、组成结构（分为如下三层的深度卷积网络）

首先，输入的脉冲流被划分为五个重叠的短期脉冲块{Bl2，Bl1，Bk，Br1，Br2}，并将光推理子网应用于这些脉冲块，以自适应地利用局部时间相关性，产生几个粗估计堆栈{I ~ l2, I ~ l1, I ~ k, I ~ r1, I ~ r2}。在这里，{l1, l2}和{r1，r2}是对称分布在k点一侧的参考时间点。特别是光推理模块是空间自适应的，可以自动调整时间尺度以适应各种运动和光照条件。随后，将5个权重特征提取模块应用于粗重建，提取深度特征{Fl2，Fl1，Fk, Fr1，Fr2}。最后，为了进一步提高重建质量，级联了一个运动对齐的图像重建子网，以利用长期时间相关性，同时避免运动模糊。在这个子网中，首先采用金字塔可变形对齐来对齐参考特征和关键特征，生成对齐的参考特{F¯l2,F¯l1,F¯r1,F¯r2}。然后，将对齐的参考特征与关键特征集成，重建高质量的图像Iˆk。

1.空间自适应光推断(SALI)子网

为了解决由于场景内容的多样性，固定的时间尺度很难很好地处理场景中的所有像素问题，我们提出了一个空间自适应的光线推理子网(如下图所示)，以自适应地利用局部时间相关性，使其能够适应各种运动和光线条件。首先，应用多尺度光推理模块来inter具有不同时间尺度的瞬时光强。然后，利用空间自适应选择模块自动选择合适的时间尺度;

（1）多尺度光推理

将几个具有不同时间尺度的并行可学习滤波器应用于输入的短期脉冲块Bt∈RH×W×N，每个滤波器都生成一个粗略的瞬时光强估计一定的时间尺度:

（这里Mi表示第i个分支的时间掩模，hi(·)表示基于级联卷积和激活层的可学习的时间滤波操作，◦表示元素级乘法。)

（2）空间自适应时间尺度选择

引入一个注意力块a(·)来学习调制尺度映射

使网络可以更专注于使用适当的时间尺度的估计。这里m是分支的数量，[，]表示特征拼接。SALI子网的输出是基于不同时间尺度依赖性的缩放粗略估计的堆栈(这里输出的堆栈是指不同时刻的瞬时光强):

2.特征提取(FE)子网

从每个粗估计堆栈中提取深度特征Ft，可以表示为：这里ft(·)表示特征提取操作。使用几个堆叠的残差块来构建我们的特征提取模块，如下图所示：【特别地，使用了长跳跃连接来转发信息，缓解训练难度。为了降低网络的复杂性，ft(·)的参数在所有分支中共享。】

3.运动对齐图像重建(MAIR)子网（级联一个运动对齐子网，以利用长期时间相关性并细化重建，而不引入运动模糊）

（1）金字塔可变形特征对齐

我们引入了一个基于可变形卷积（在可变形卷积中，通过学习额外的偏移量来增加空间采样位置）的pyra-mid可变形对齐(PDA)模块[3,38]，将参考特征{Fl2，Fl1，Fr1，Fr2}与关键特征Fk对齐。为了有效地处理大型和复杂的运动，我们在由粗到细的过程中执行可变形对齐。

如上图所示，给定参考特征Ft，t∈{l2，l1，r1，r2}和关键特征Fk，我们将这些特征下采样为l级特征，即{Ft (l)}和{Fk (l)}， l = 1,2，···，l。使用金字塔特征，我们首先将较低尺度的特征与粗估计对齐，然后将对齐的特征和学习到的偏移量传播到较高尺度以改进估计。l级对齐的参考特征可以通过计算：