论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

已于 2022-11-24 21:37:38 修改
阅读量381 收藏
点赞数 1
文章标签： 论文阅读
于 2022-11-24 21:34:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettii/article/details/128026936
版权

前言：ABME发表在ICCV2021，也是一篇基于光流做插帧的文章
论文地址：【here】
代码：【here】

Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

引言

大多数插帧的方法都是基于光流
光流方法又可以分为前向流方法和后向流
前向流方便求得,但是容易造成空洞和重叠
后向流由于中间帧的缺失，大多方法采用近似的办法，但是近似会造成误差
这篇文章利用光流，提出了一个不对称的光流算法，
首先, 用对称流求得中间的锚定帧
其次，利用锚定帧求出两边的不对称光流
最后，利用对称的光流和不对称的光流，得到最后的插帧图像

网络架构

在这里插入图片描述
从左至右分别是

  • 对称双边光流估计
  • 锚定帧生成
  • 不对称的光流估计网络ABMRnet
  • 帧合成网络

对称双边光流估计

用BMBE的方法，求得对称后向流

锚定帧生成

在原有的后向流合成公式中
在这里插入图片描述
加入带有遮挡的mask
在这里插入图片描述

不对称的光流估计网络ABMRnet

网络如下
在这里插入图片描述
修改自PWC，其中也加了Mask 和offsetmap来对遮挡进行处理

帧合成网络

在这里插入图片描述

左右两边两张图和对应的对称的不对称的后向流输入，并warp，两边的网络共享权重
中间的网络主要为两部分 ，filternet和refinenet
这两个的网络结构都来自Gridnet，用于处理不同尺度的输入的融合问题
在这里插入图片描述
其中 filternet采用动态局部卷积lareral block
refinenet用于生成残差来优化结果

实验结果

在这里插入图片描述
可见要比BMBC效果好，参数量也更小

总结：这篇文章里的第二章有很详细的对前向warping和后向warping的总结归纳，在有的之前的文章这一块是略过的，还是讲的很清晰，但是还是觉得网络设计得有些复杂了，设计和沿用了很多新的模块

btee
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ASYMMETRIC CIRCULAR PROJECTION FOR DYNAMIC VIRTUAL REALITY VIDEO STREAM SWITCHING
02-06
Dynamic stream switching is an efficient scheme which stores multiple asymmetric projections of panoramic video in server side, and transmits only one asymmetric projection (with much lower ...
视频插帧—学习笔记（算法+配置+云服务+Google-Colab）
seek97的博客
12-24 8276
恰好碰到同学项目需要，了解了一下关于利用深度学习视频插帧的相关知识，在这里做一个简单的记录。 一、方法+论文 1.DAIN (Depth-Aware Video Frame Interpolation) 论文：https://arxiv.org/pdf/1904.00830.pdf 摘要 Video frame interpolation aims to synthesize nonexistent frames in-between the original frames....
论文阅读 | BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
bettii的博客
11-21 632
目前做插帧的方法大多都用到了光流，但是只用光流的前向warp的话会造成重影和孔洞因此要利用 上后向warp，然而用到后向warp就需要估计中间运动，这篇文章提出了一个基于双边运动估计的深度学习架构，包含了双边运动估计网络，更准确的估计中间运动。
深度学习MEMC插帧论文列表paper list
longshaonihaoa的博客
07-24 2208
整理一下深度学习用于运动估计和运动补偿的论文列表。大致按照内容与时间区分。鉴于工作量太大，而且MEMC这块点击量很少，就不介绍文章内容了。
ICCV2021论文速递 | Transformer 分割、文本识别、视频插帧、视频修复！
zero的博客
08-18 749
点击下方“AI算法与图像处理”，一起进步！ 重磅干货，第一时间送达 大家好，今天跟大家分享 ICCV 2021 的论文成果，主要包含五篇内容的简介：基于Transformer 的分割方法...
论文笔记-BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Lyndsey的博客
12-06 1251
一、背景介绍 时间分辨率是影响视频质量的一个重要因素。为了提高时间分辨率，已经提出了许多视频插值算法，它们合成两个实际帧之间的中间帧。这些算法广泛应用于各种应用，包括视觉质量增强、视频压缩、慢动作视频生成和视图合成。然而，由于各种因素，如大的非线性运动、遮挡和光照条件的变化，视频插值具有挑战性。特别是，为了产生高质量的中间帧，精确地估计运动或光流矢量是重要的。 最近，随着基于深度学习的光流方法的发展，已经开发了基于流的视频插值算法，产生了可靠的插值结果。Niklaus等基于前向扭曲生成中间帧。然而，由于孔洞
Asymmetric Co-Teaching for Unsupervised Cross-Domain
10-19
Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification 是一种旨在解决跨域人体重识别问题的方法。...
PyPI 官网下载 | asymmetric_jwt_auth-0.4.1.tar.gz
01-09
在这个场景中，我们关注的是一个名为`asymmetric_jwt_auth`的Python库，其版本为0.4.1，打包成`.tar.gz`格式的压缩文件。 `asymmetric_jwt_auth`是一个用于处理JSON Web Token（JWT）认证的库，它支持非对称加密...
asymmetric-motion:动态非对称运动处理模型
07-13
同时物体和背景响应的视觉运动的非对称处理 请在检查更新版本 内容 tutorial-src 现象学模型源代码和说明文字 emd-src 基于生理的 EMD 模型 补充代码 - 快速入门 您可以选择在物理机上运行所有代码（请参阅特定...
Dual-layered metasurfaces for asymmetric focusing
02-22
Asymmetric transmission, defined as the difference between the forward and backward transmission, enables a plethora of applications for on-chip integration and telecommunications. However, the ...
ICCV2021｜底层视觉(图像生成，图像编辑，超分辨率等)相关论文汇总（附论文链接/代码）[持续更新]
Kobaayyy的博客
09-22 3767
ICCV2021｜底层视觉和图像生成相关论文汇总（如果觉得有帮助，欢迎点赞和收藏）1.图像生成（Image Generation）Multiple Heads are Better than One: Few-shot Font Generation with Multiple Localized ExpertsPIRenderer: Controllable Portrait Image Generation via Semantic Neural RenderingToward Spatially Un
视频插帧（Video Frame interpolation）论文及源码
今晚打老虎
11-30 5805
视频插帧论文列表（含Code） 蓝色突出表示热门方法 CCF A AAAI 2019 CyclicGen：Deep Video Frame Interpolation Using Cyclic Frame Generation[code] 2020 Channel Attention Is All You Need for Video Frame Interpolation[code] FISR： Deep Joint Frame Interpolation and Super-R...
[论文阅读] Boosting Salient Object Detection with Transformer-based Asymmetric Bilateral U-Net
xiongxyowo的博客
09-10 516
论文地址：https://arxiv.org/abs/2108.07851 发表于：Arxiv 2021.08 Abstract 现有的显著目标检测(SOD)方法主要依靠基于CNN的U型结构，通过跨层连接来融合全局上下文和局部空间细节，这分别对定位显著对象和细化对象细节至关重要。尽管取得了巨大的成功，但CNN在学习全局上下文方面的能力是有限的。最近，由于vision transformer对全局依赖关系的强大建模，它在计算机视觉领域取得了革命性的进展。然而，直接将transformer应用于SOD是次优的，
【论文阅读】SegNeXt：重新思考卷积注意力设计
weixin_44037500的博客
08-15 147
提出了SegNeXt用于语义分割的简单卷积网络架构，核心是一种比transformer的自注意力更有效的编码方式进行上下文信息的编码，专注分割性能改进的几个组件，设计出了这种新型卷积注意力网络，性能有不小的提升。
ESVC论文笔记
weixin_46103454的博客
08-15 971
虽然SVC在自然度和相似度方面都取得了很好的效果,但音频中除了歌手身份之外,情感表达也是传递歌手感情和态度的必要条件，现有的模型在情感表达上还有待提升。歌曲的情感元素与歌手的身份是非常纠结的,所以加强一个可能会削弱另一个，导致整体表现力的缺乏。因此，有必要引入身份聚类损失来抵消情感聚类带来的身份偏见。
【LLM之Base Model】Weaver论文阅读笔记
<p>专注挖坑</p>
08-19 353
Weaver模型系列旨在通过预训练和特定领域的对齐，使LLMs在创意和专业写作方面表现得更加人性化和多样化。Weaver通过引入一系列新的数据合成和对齐方法，使其能够生成更具创造性和符合人类风格的文本，从而满足内容创作的多样需求。
MiniCPM-V: A GPT-4V Level MLLM on Your Phone论文阅读
最新发布
yang_daxia的博客
08-19 624
大模型的趋势：模型性能越来越好，模型参数变小，端边设备计算能力变强。
论文阅读-Transformer Layers as Painters
yiyele的博客
08-14 1040
尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且中间层有着惊人的一致性。
【论文阅读】Enhance Model Stealing Attack via Label Refining（2022）
Glass_Gun的博客
08-19 665
The Black-box dissector (BD) [5] uses a prior-driven（先验驱动） erasing operation（擦除操作）, which can fit（拟合） the victim’s attention map（注意图） while obtaining other classes’ information via erasing the attention area of the sample（通过擦除样本的注意区域）.model stealing：模型窃取。
afr for asymmetric fixture.pdf
01-23
afr for asymmetric fixture.pdf 是指用于非对称夹具的铺设自动化设备报告。 夹具是用来固定工件的设备，而非对称夹具则是指在夹持工件时，夹具的结构和形状不对称。这种夹具通常被用于需要进行特殊加工的工作，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值