论文阅读 | Unifying Motion Deblurring and Frame Interpolation with Events

最新推荐文章于 2024-06-13 22:53:07 发布
最新推荐文章于 2024-06-13 22:53:07 发布
阅读量317 收藏 1
点赞数
文章标签： 论文阅读 人工智能 计算机视觉 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettii/article/details/127868018
版权

前言：最近打算好好的再读一些文章，自己不是去糊领域的，略微做了些笔记。

Unifying Motion Deblurring and Frame Interpolation with Events

论文：【here】
代码：【here】
补充材料：【here】

论文核心贡献点

1.提出了一个集插帧和去糊一体的网络，解决了插帧问题中运动模糊和去糊问题中的帧率不够的问题。（ LEDVDI是级联的，不是一起生成的）
2.采用自监督的方案，可以用到更多的场景，不必受数据集限制

论文的核心架构

  • LDI网络（用于处理事件点）
  • Fusion 网络（用于融合事件点和模糊图像）
  • 损失函数设计

在这里插入图片描述

LDI网络架构设计

在这里插入图片描述
分别有四个相同的LDI网络，分别对两个模糊图像的曝光时间前后的事件进行处理
基于的原则是双积分模型，即最终LDI模型的输出为E（f,T），即事件在模糊帧和潜在帧之间的“”桥梁帧“”。
在这里插入图片描述
对于每个每个桥梁帧的处理，可以拆成f时刻前后两个部分，并且对于f时刻前的事件，进行反转，f时刻后的事件进行位移（位移使其从0时刻开始）
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

fusion网络架构设计

在这里插入图片描述
5路输入，其中中间的输入可以表示为
在这里插入图片描述
LDI和fusion的网络结构
在这里插入图片描述

损失函数设计

  • 模糊事件损失Blurry-event Loss.

在这里插入图片描述

  • 模糊尖锐损失Blurry-sharp Loss.

在这里插入图片描述

  • 尖锐事件损失Sharp-event Loss.
    在这里插入图片描述
btee
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
IRGAN- A Minimax Game for Unifying Generative and Discriminative
08-03
IRGAN: A Minimax Game for Unifying Generative andLantao Yu, Weinan Zhang∗Shangha
Unifying Theories of Programming and Formal Engineering Methods
10-30
是一本有关形式化建模和模型验证方面的学术论文集，包含5篇相关学术论文
深度学习论文分享（九）Unifying Motion Deblurring and Frame Interpolation with Events
ElysiumAILab
09-01 446
在此仅做翻译基于帧的相机快门速度慢，曝光时间长，往往会造成视觉模糊和帧间信息丢失，从而降低拍摄视频的整体质量。为此，我们提出了一个基于事件的运动去模糊和帧插值的统一框架，用于模糊视频增强，其中利用极低的事件延迟来缓解运动模糊并促进中间帧预测。首先利用可学习的二重积分网络预测模糊帧与锐隐图像之间的映射关系，然后利用连续模糊输入和并发事件的信息，提出融合网络对粗糙结果进行细化。通过探索模糊帧、潜在图像和事件流之间的相互约束，我们进一步提出了一种自监督学习框架，使网络训练能够使用真实世界的模糊视频和事件。
EVDI - Unifying Motion Deblurring and Frame Interpolation with Events训练自己的数据集
mmsx2017的博客
09-23 802
跑通论文的代码，以及用自己的数据集进行训练
【Unifying Motion Deblurring and Frame Interpolation with Events】阅读笔记
既脱春火的博客
08-10 937
运动模糊视频去模糊兼插值
视频去模糊论文阅读-Learning Blind Motion Deblurring
wwb12138的博客
04-23 2154
论文地址：http://openaccess.thecvf.com/content_ICCV_2017/papers/Wieschollek_Learning_Blind_Motion_ICCV_2017_paper.pdf 代码地址：https://github.com/cgtuebingen/learning-blind-motion-deblurring
CVPR'22 最新132篇论文分方向整理｜包含目标检测、图像处理、医学影像等28个方向...
qq_29462849的博客
03-28 5393
本文首发极市平台公众号，转载请获得授权并标明出处。CVPR 2022 已经放榜，本次一共有2067篇论文被接收，接收论文数量相比去年增长了24%。在CVPR2022正式会议召开前，为了让大家更快地获取和学习到计算机视觉前沿技术，极市对CVPR022 最新论文进行追踪，包括分研究方向的论文、代码汇总以及论文技术直播分享。CVPR 2022 论文分方向整理目前在极市社区持续更...
CVPR 2022 全面盘点：最新350篇论文分方向汇总 / 代码 /
热门推荐
qwj的博客
05-06 4万+
转载自CVPR 2022 全面盘点：最新350篇论文分方向汇总 / 代码 / 解读 / 直播 / 项目（更新中） - 知乎 CVPR 2022 已经放榜，本次一共有2067篇论文被接收，接收论文数量相比去年增长了24%。在CVPR2022正式会议召开前，为了让大家更快地获取和学习到计算机视觉前沿技术，极市对CVPR022 最新论文进行追踪，包括分研究方向的论文、代码汇总以及论文技术直播分享。 官网链接：http://CVPR2022.thecvf.com 会议时间：2021年6月19日-6月24日 相关
Data Hiding with Deep Learning A Survey Unifying Digital Waterma
09-25
Data Hiding with Deep Learning A Survey Unifying Digital Watermarking and Steganography.pdf
Fast Online Object Tracking and Segmentation: A Unifying Approac
12-27
最近唯一能够像SiamMask一样在线操作并从边界框初始化开始生成mask的跟踪器是Yeo等人的基于超像素的方法.①作者认为以往直接回归box的方法存在一定的偏差，而使用分割提取mask然后再确定box的方法能够更好的定位box ...
Data Hiding with Deep Learning A Survey Unifying Digital Wate
09-23
Data Hiding with Deep Learning A Survey Unifying Digital Watermarking and Steganography.zip
CVPR2022论文速递（2022.3.24）！共11篇含表情识别/deepfake检测/插帧等
zero的博客
03-25 5209
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注：DynamicEarthNet: Daily Multi-Spectral Satellite Dataset for Semantic Change Segmentation论文/Paper: ...
论文阅读：H-ViT，一种用于医学图像配准的层级化ViT
最新发布
wwimhere的博客
06-13 548
来自CVPR的一篇文章，用CNN+Transformer混合模型做图像配准。可变形图像配准是一种在相同视场内比较或整合单模态或多模态视觉数据的技术，它旨在找到两幅图像之间的非线性映射关系。
【论文阅读】-- Omnisketch：高效的多维任意谓词高速流分析
zijin-jdd的博客
06-13 251
不同学科的一个关键需求是对快节奏的数据流执行分析，其性质类似于关系数据库中的传统 OLAP 分析，即使用过滤器和聚合。然而，由于存储要求高，以及存储海量数据时引入的延迟，存储无界流不是一种现实或理想的方法。因此，已经提出了许多概要/草图，它们可以在小内存（通常足够小以存储在RAM中）中总结流，这样就可以有效地近似聚合查询，而无需存储整个流。然而，过去的概要主要关注对单一属性流的总结，无法有效地处理对多个属性的任意子集进行过滤和约束。在这项工作中，我们提出了OmniSketch，这是第一个能够适应快节奏和复杂
论文阅读Rolling-Unet，卷积结合MLP的图像分割模型
wwimhere的博客
06-12 652
2）接着，在Rolling操作之后，R-MLP在每个空间位置索引 (hi,wj) 上执行带有权重共享的通道投影，以编码长距离依赖性。通道投影是指在特征矩阵的每个空间位置（即图像的每个像素位置）上，对所有通道的特征进行线性变换，以生成新的特征表示。通道投影的目的是将Rolling操作后的多通道特征进行整合和编码，以捕获长距离依赖性。在Rolling操作之后，每个空间位置的特征图可能会有不同的宽度或高度特征。
【论文阅读】MODELING AND SOLVING THE TRAVELING SALESMAN PROBLEM WITH PRIORITY PRIZES
小威的博客
06-07 962
本文研究了具有优先奖励（TSPPP）的旅行商问题，这是经典TSP的扩展，在目标函数中考虑了节点访问的顺序。当节点i以路线的第k个顺序访问时，旅行销售员收到奖励pki，而当销售员从节点i旅行到节点j时，产生旅行成本cij。TSPPP的目的是找到最大利润的n-节点之旅。这个问题可以被看作是一个具有更一般的目标函数的TSP变体，旨在针对在某种程度上考虑客户服务质量、交付优先级和成本的解决方案。
论文阅读KAN: Kolmogorov–Arnold Networks
wwimhere的博客
06-09 797
学习了最近大热的KAN网络。
论文阅读：Indoor Scene Layout Estimation from a Single Image
a486259的博客
06-10 1140
这是一篇比较早的论文，偶然发现。其亮点有二：1、将室内布局估计任务转换为语义分割任务，使用像素交叉熵+平滑边缘loss进行训练。2、构建布局退化模式，见2.3，实现了数据增强过程中的布局属性的变化. 该论文已经是6年前的，后续在该领域当有更优质的算法。实在不行，换个模型也有巨大的效果提升。 该论文主要是带来启发：1、语义分割模型还能这样子使用，作用于室内布局估计；2、任务转换的启发，将室内布局任务转换为语义分割，那室内布局任务也可以转换为关键点检测等任务；3、特定任务场景下的数据增强模式存在label的退
Unifying Training and Inference for Neural Image Generation
05-12
"Unifying Training and Inference for Neural Image Generation" is a research paper that proposes a new approach to training and inference for neural image generation models. The authors argue that current methods for training these models often require complex architectures and a two-stage process that separates training and inference. This can lead to inefficiencies and difficulties in optimizing the models. The proposed method, called "progressive differentiation," unifies the training and inference processes by dynamically adjusting the model architecture during training. This allows the model to learn and refine its generated images in a single stage, without the need for complex architectures or separate training and inference stages. The authors demonstrate the effectiveness of their approach on several benchmark datasets, showing that it achieves state-of-the-art results with fewer parameters and faster training times. The results suggest that unifying training and inference could be an important step towards more efficient and effective neural image generation.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值