论文阅读 | Unifying Motion Deblurring and Frame Interpolation with Events

最新推荐文章于 2024-11-10 20:25:23 发布
最新推荐文章于 2024-11-10 20:25:23 发布
阅读量402 收藏 1
点赞数
文章标签： 论文阅读 人工智能 计算机视觉 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettii/article/details/127868018
版权

前言：最近打算好好的再读一些文章，自己不是去糊领域的，略微做了些笔记。

Unifying Motion Deblurring and Frame Interpolation with Events

论文：【here】
代码：【here】
补充材料：【here】

论文核心贡献点

1.提出了一个集插帧和去糊一体的网络，解决了插帧问题中运动模糊和去糊问题中的帧率不够的问题。（ LEDVDI是级联的，不是一起生成的）
2.采用自监督的方案，可以用到更多的场景，不必受数据集限制

论文的核心架构

  • LDI网络（用于处理事件点）
  • Fusion 网络（用于融合事件点和模糊图像）
  • 损失函数设计

在这里插入图片描述

LDI网络架构设计

在这里插入图片描述
分别有四个相同的LDI网络，分别对两个模糊图像的曝光时间前后的事件进行处理
基于的原则是双积分模型，即最终LDI模型的输出为E（f,T），即事件在模糊帧和潜在帧之间的“”桥梁帧“”。
在这里插入图片描述
对于每个每个桥梁帧的处理，可以拆成f时刻前后两个部分，并且对于f时刻前的事件，进行反转，f时刻后的事件进行位移（位移使其从0时刻开始）
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

fusion网络架构设计

在这里插入图片描述
5路输入，其中中间的输入可以表示为
在这里插入图片描述
LDI和fusion的网络结构
在这里插入图片描述

损失函数设计

  • 模糊事件损失Blurry-event Loss.

在这里插入图片描述

  • 模糊尖锐损失Blurry-sharp Loss.

在这里插入图片描述

  • 尖锐事件损失Sharp-event Loss.
    在这里插入图片描述
btee
关注
【论文阅读】Unifying Knowledge Graph Learning and Recommendation
qq_44960910的博客
09-08 993
论文阅读：Unifying Knowledge Graph Learning and Recommendation: Towards a Better Understanding of User Preferences
论文阅读：LSTM-CF: Unifying Context Modeling and Fusion with LSTMs for RGB-D Scene Labeling
漩涡小林的博客
02-22 998
文章目录1 摘要2 亮点2.1 LSTM-CF网络总体思路2.2 LSTM-CF网络总体结构3 部分效果3.1 LSTM-CF网络各模块的影响3.2 分割效果4 结论5 参考资料 1 摘要 （如果之前没有了解过RNN处理语义分割任务时，建议先看这篇文章：论文笔记：ReNet: A Recurrent Neural Network Based Alternative to Convolutional...
EVDI - Unifying Motion Deblurring and Frame Interpolation with Events训练自己的数据集
mmsx2017的博客
09-23 910
跑通论文的代码，以及用自己的数据集进行训练
深度学习论文分享（九）Unifying Motion Deblurring and Frame Interpolation with Events
ElysiumAILab
09-01 901
在此仅做翻译基于帧的相机快门速度慢，曝光时间长，往往会造成视觉模糊和帧间信息丢失，从而降低拍摄视频的整体质量。为此，我们提出了一个基于事件的运动去模糊和帧插值的统一框架，用于模糊视频增强，其中利用极低的事件延迟来缓解运动模糊并促进中间帧预测。首先利用可学习的二重积分网络预测模糊帧与锐隐图像之间的映射关系，然后利用连续模糊输入和并发事件的信息，提出融合网络对粗糙结果进行细化。通过探索模糊帧、潜在图像和事件流之间的相互约束，我们进一步提出了一种自监督学习框架，使网络训练能够使用真实世界的模糊视频和事件。
【Unifying Motion Deblurring and Frame Interpolation with Events】阅读笔记
既脱春火的博客
08-10 1022
运动模糊视频去模糊兼插值
视频去模糊论文阅读-Learning Blind Motion Deblurring
wwb12138的博客
04-23 2233
论文地址：http://openaccess.thecvf.com/content_ICCV_2017/papers/Wieschollek_Learning_Blind_Motion_ICCV_2017_paper.pdf 代码地址：https://github.com/cgtuebingen/learning-blind-motion-deblurring
CVPR'22 最新132篇论文分方向整理｜包含目标检测、图像处理、医学影像等28个方向...
qq_29462849的博客
03-28 5988
本文首发极市平台公众号，转载请获得授权并标明出处。CVPR 2022 已经放榜，本次一共有2067篇论文被接收，接收论文数量相比去年增长了24%。在CVPR2022正式会议召开前，为了让大家更快地获取和学习到计算机视觉前沿技术，极市对CVPR022 最新论文进行追踪，包括分研究方向的论文、代码汇总以及论文技术直播分享。CVPR 2022 论文分方向整理目前在极市社区持续更...
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation——精读笔记
学海无涯，快乐行舟
11-13 6594
RIFE是一种用于视频插帧(Video Frame Interpolation, VFI)的实时中间流估计算法(Real-time Intermediate Flow Estimation)。RIFE提出的IFNet神经网络可以由粗到精(coarse-to-fine)直接估算中间流，速度也更快。设计了一种特权蒸馏机制来训练中间流模型，可以大大提高性能。
Dynamic Head: Unifying Object Detection Heads with Attentions论文阅读
Q1u1NG的博客
06-17 4258
Dynamic Head: Unifying Object Detection Heads with Attentions论文阅读摘要介绍相关工作方法Dynamic Head扩展到现存的检测器实验实验细节消融实验消融实验使用ResNet50作为backbone实现scale与spatial可视化Dynamic Head的深度扩展到现存的目标检测器与SOTA比较与不同的ResNe(X)t系列backbone搭配与SOTA检测器的比较与transformer backbone搭配SOTA paper:https
Data Hiding with Deep Learning A Survey Unifying Digital Waterma
09-25
综上所述，这篇论文深入探讨了深度学习如何改变和增强数据隐藏技术，为数字水印和隐写术提供了新的理论基础和技术手段，同时也为未来的学术研究和实际应用指明了方向。随着技术的不断发展，这些方法有望进一步推动...
CVPR 2022 全面盘点：最新350篇论文分方向汇总 / 代码 /
热门推荐
qwj的博客
05-06 4万+
转载自CVPR 2022 全面盘点：最新350篇论文分方向汇总 / 代码 / 解读 / 直播 / 项目（更新中） - 知乎 CVPR 2022 已经放榜，本次一共有2067篇论文被接收，接收论文数量相比去年增长了24%。在CVPR2022正式会议召开前，为了让大家更快地获取和学习到计算机视觉前沿技术，极市对CVPR022 最新论文进行追踪，包括分研究方向的论文、代码汇总以及论文技术直播分享。 官网链接：http://CVPR2022.thecvf.com 会议时间：2021年6月19日-6月24日 相关
CVPR2022论文速递（2022.3.24）！共11篇含表情识别/deepfake检测/插帧等
zero的博客
03-25 5324
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注：DynamicEarthNet: Daily Multi-Spectral Satellite Dataset for Semantic Change Segmentation论文/Paper: ...
Deep Generative Filter for motion deblurring 论文解读
牧野的博客
08-09 4136
"Deep Generative Filter for motion deblurring"(用于消除运动模糊的深度生成网络)是2017年9月挂到arXiv上的一篇论文，论文连接： https://arxiv.org/abs/1709.03481   摘要 由于相机抖动导致的运动模糊由于其本身的病态属性，一直是计算机视觉领域一个具有挑战性的问题。在3D空间中，相机和被拍摄物体之间的相对运动...
对抗生成网络学习（八）——DeblurGAN实现运动图像的去模糊化(tensorflow实现)
QQ704630835的博客
11-16 3万+
一、背景 DeblurGAN是Orest Kupyn等人于17年11月提出的一种模型。前面学习过，GAN可以保存影像的细节纹理特征，比如之前做过的SRGAN可以实现图像的超分辨率，因此，作者利用这个特点，结合GAN和多元内容损失来构建DeblurGAN，以实现对运动图像的去模糊化。 本试验的数据集为GOPRO数据，后面还会有详细的介绍，尽可能用比较少的代码实现DeblurGAN。 [1]文章...
【论文笔记】Prefix-Tuning: Optimizing Continuous Prompts for Generation
最新发布
小嗷犬的博客
11-10 324
微调是利用大型预训练语言模型进行下游任务的事实上的方法。然而，微调会修改所有语言模型参数，因此需要为每个任务存储一个完整副本。在本文中，我们提出了Prefix-tuning，这是一种轻量级的自然语言生成任务微调替代方案，它保持语言模型参数冻结，并优化一系列连续的任务特定向量，我们称之为Prefix。Prefix-tuning从语言模型的提示中汲取灵感，允许后续标记将此Prefix视为“虚拟token”。我们将Prefix-tuning应用于GPT-2进行表格到文本生成，以及应用于BART进行摘要。
【论文阅读】Learning dynamic alignment via meta-filter for few-shot learning
cainiaomyf的博客
11-07 990
小样本学习（Few-shot Learning, FSL）旨在通过极其有限的小样本（支持集）示例，适应已学到的知识来识别新类别，仍然是计算机视觉中的一个重要开放问题。现有的大多数小样本学习中的特征对齐方法仅考虑图像级别或空间级别的对齐，而忽略了通道差异。我们的观点是，这些方法会导致冗余匹配，从而导致适应性差，而利用通道级别的调整是将学到的知识有效适应到新类别的关键。因此，本文提出了一种动态对齐学习方法，可以根据不同的局部支持信息有效地突出查询区域和通道。
【论文笔记】Wings: Learning Multimodal LLMs without Text-only Forgetting
小嗷犬的博客
11-09 826
多模态大型语言模型（MLLMs）以训练好的LLM为基础，首先将图像与文本对齐，然后对多模态混合输入进行微调。然而，MLLM在灾难性地忘记了仅包含文本的指令，这些指令不包括图像，可以在初始LLM中解决。在本文中，我们提出了WINGS，这是一种新型的MLLM，在纯文本对话和多模态理解方面都表现出色。分析MLLM在多模态指令中的注意力发现，纯文本遗忘与从预图像文本到后图像文本的注意力转移有关。据此，我们构建了额外的模块，作为增强学习器来补偿注意力转移。
论文阅读--捍卫基于激光雷达视野范围的三维目标检测
weixin_43899239的博客
11-07 825
在本文中，我们提出了一种基于 LiDAR 的。
Sat-NeRF论文笔记和复现问题处理
Destiny_Di的博客
11-06 1123
懒得写
Unifying Training and Inference for Neural Image Generation
05-12
"Unifying Training and Inference for Neural Image Generation" is a research paper that proposes a new approach to training and inference for neural image generation models. The authors argue that current methods for training these models often require complex architectures and a two-stage process that separates training and inference. This can lead to inefficiencies and difficulties in optimizing the models. The proposed method, called "progressive differentiation," unifies the training and inference processes by dynamically adjusting the model architecture during training. This allows the model to learn and refine its generated images in a single stage, without the need for complex architectures or separate training and inference stages. The authors demonstrate the effectiveness of their approach on several benchmark datasets, showing that it achieves state-of-the-art results with fewer parameters and faster training times. The results suggest that unifying training and inference could be an important step towards more efficient and effective neural image generation.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值