论文阅读 | Context-aware Synthesis for Video Frame Interpolation

最新推荐文章于 2024-05-15 16:00:04 发布
最新推荐文章于 2024-05-15 16:00:04 发布
阅读量253 收藏
点赞数
文章标签： 论文阅读 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettii/article/details/128075434
版权

前言：CVPR2018的一篇经典的视频插帧的文章
论文地址：【here】

Context-aware Synthesis for Video Frame Interpolation

引言

目前一些做插帧的文章，对于前后warp后的帧融合通常采用权重相乘再相加，即（1-t）I0 +tI1
这样做是基于像素级的，并不能很好的融合两者的warp后的各自优势
本文提出了一种语义融合方式 ，更好的融合光流warp后的两帧以及各自的语义特征

网络架构

在这里插入图片描述
光流估计器：估计两帧之间的光流，再通过1-t和t的缩放得到两帧到中间帧的前向流，作者对比了SPyNet的光流方法后，这里采用的是PWCNet估计两端的流
在这里插入图片描述
特征提取器：：这里用的是ResNet18的第一层conv1,作者对比了不同的特征提取，比如VGG19第一二层
在这里插入图片描述
融合模块：GridNet(GridNet在我发布的上一篇文章中有详细介绍)
在这里插入图片描述
作者也对不同的融合方式进行了消融实验，可以看到这种学习的融合方式提升了至少2dB
在这里插入图片描述

实验

除了上述的网络选择的三个消融实验，作者还做了
损失函数对比
在这里插入图片描述
可见拉普拉斯损失性能最好

middlebury上的对比实验
在这里插入图片描述
可以看到，该方法性能最好

GridNet的改进
把Gridnet上采样的转置卷积改成双线性插值，会减少伪影
在这里插入图片描述

总结

这篇文章做了很丰富的实验，一些实验也很有启发性，就是对比实验参照的数据集有点少

btee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
GridNet:使用PyTorch实现GridNet
05-17
网格网 使用PyTorch实现GridNet
视频插帧（Video Frame interpolation）论文及源码
今晚打老虎
11-30 5697
视频插帧论文列表（含Code） 蓝色突出表示热门方法 CCF A AAAI 2019 CyclicGen：Deep Video Frame Interpolation Using Cyclic Frame Generation[code] 2020 Channel Attention Is All You Need for Video Frame Interpolation[code] FISR： Deep Joint Frame Interpolation and Super-R...
详解插帧算法DAIN论文和代码(Depth-Aware Video Frame Interpolation)
BigerBang的博客
06-20 6958
Depth-Aware Video Frame Interpolation flow estimation depth estimation approximate the intermediate flows1.depth-aware flow projection 2.hole position flow 填充 adaptive warping layers the flow projection 通过reverse在时刻t经过x位置的flow来估计t时刻x位置的中间flow.F0−>1
Laplacian Loss
vatic--视频标注工具（ubuntu16.04+python2.7）
12-15 7583
Laplacian loss Matting 任务当中在几篇论文里发现一个Laplacian loss，这个loss在论文《Context-aware synthesis for video frame interpolation》中最先出现，这一篇论文主要是研究视频插帧的，需要恢复视频中某一帧的信息，这个任务与抠图在一个方面类似，也就是非常需要细节特征，原文描述为： Whereas the ℓ 1 color loss and the Laplacian loss aim to minimize the
论文阅读 | Residual Conv-Deconv Grid Network for Semantic Segmentation
bettii的博客
11-25 534
GridNet发表在BMVC2017，用于语义分割，一篇很早期的文章
文章阅读：GridNet with automatic shape prior registration for automatic MRI cardiac segmentation
purson2的博客
12-22 1270
论文地址：GridNet with automatic shape prior registration for automatic MRI cardiac segmentation 概述 GridNet是一种全自动MRI心脏分割方法，该方法基于为2017年ACDC MICCAI挑战而设计的新型深度卷积神经网络（CNN）。 网络的新颖之处在于其嵌入式形状先验和其针对心脏解剖学定制的损失功能。 ...
史上最全语义分割综述（FCN,UNet,SegNet，Deeplab，ASPP...）
热门推荐
一一
07-19 7万+
目录 语义分割综述 摘要 语义分割领域研究现状 灰度分割 条件随机场 深度学习方法 数据集与评价指标 常用数据集 评价指标 模型介绍 语义分割综述 摘要 语义分割（全像素语义分割）作为经典的计算机视觉问题（图像分类，物体识别检测，语义分割）。其涉及将一些原始数据（例如：平面图像）作为输入并将它们转换为具有突出显示的感兴趣区域的掩膜，其中图像中的每个像素根据其所属的对象被分...
UNet++: A Nested U-Net Architecture for Medical Image Segmentation
qq_43173239的博客
01-21 887
文章目录前言一、论文翻译1 介绍2 Related Work 相关工作3提出的神经网络结构: UNet++3.1 Re-designed skip pathways3.2深度监督4 实验5 结论二、补充 前言 继Unet之后看的第二篇医学图像分割文章，用于记录学习。感谢看过的大佬们一些优秀的博文 一、论文翻译 摘要：在这一篇论文里, 我们展示了一个新的且更强的网络结构UNet++用于医学图像分割.我们的结构本质上是一个深度监督(deeply-supervised)的编码-解码网络,编码和解码的子网络通过
Context-aware-Visual-Tracking.zip_Aware_Context-aware_context aw
09-14
一篇2009年pami文章，《Context-aware Visual Tracking》
Context-Aware Embeddings for Automatic Art Analysis.pdf
08-09
suchasauthoridentification,type classification,orcross-modalretrieval,showthatperformanceis improvedbyupto7.3%inartclassificationand37.24%inretrieval whencontext-awareembeddingsareused.
Improving performance of tensor-based context-aware recommenders using Bias Tensor Factorization with context feature auto-encoding
02-07
Tra- ditional tensor-based models in context-aware recommendation scenario only consider user-item-context interactions. In this paper, we argue that rating can’t be totally explained by the ...
Context-Aware-CF-Tracking
05-11
上下文感知CF跟踪 作者：马蒂亚斯·穆勒（Matthias Mueller），尼尔·史密斯（Neil Smith）和伯纳德·加纳姆（Bernard Ghanem） 项目网站： ： 个人网站： 许可：请参阅许可文件 如果您使用其中任何一项，请...
A Pi-Calculus based Context-Aware Model for Web Service Composition
02-22
A Pi-Calculus based Context-Aware Model for Web Service Composition
【论文阅读】Depth-Aware Video Frame Interpolation
olivertai的博客
10-28 4396
项目主页：https://sites.google.com/view/wenbobao/dain 项目Git：https://github.com/baowenbo/DAIN 论文地址：https://arxiv.org/pdf/1904.00830.pdf 简介 近年来基于深度学习的视频插帧成为了计算机视觉的研究方向之一，视频插值主要一般会用于一下几个方面： 慢动作视频生成（slow-mo...
视频插帧--Video Frame Interpolation via Adaptive Convolution
AI小作坊 的博客
10-09 1万+
Video Frame Interpolation via Adaptive Convolution CVPR2017 http://web.cecs.pdx.edu/~fliu/project/adaconv/本文使用CNN网络完成 frame interpolation，这里我们将像素插值问题看作对相邻两帧中相应图像块的卷积，通过一个全卷积CNN网络来估计 spatially-adapti
Video Frame Interpolation via Adaptive Convolution 【介绍部分】 论文笔记
qq_32442679的博客
07-14 1813
Video Frame Interpolation via Adaptive Convolution研读一篇论文前，我问自己，我想了解这篇论文的哪些内容，仅仅是作者的一个算法吗？很多时候，这个算法看完之后，一段时间我就忘了。每次回顾，就得重新看起，费力还心烦。特别和别人聊起这个算法的时候，才想起，这个算法在什么方面有很好的应用和不足，它是站在哪些巨人的肩膀上看的问题，我一概不知，那还谈什么我了解过...
CVPR 2018 paper
qq_34848537的博客
10-08 1万+
CVPR 2018 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access Paperlist Embodied Question Answering Learning by Asking Questions Finding Tiny Faces in the Wild With Generative Adversarial Network...
论文阅读 - Anatomy of an AI-powered malicious social botnet
最新发布
qq_40671063的博客
05-15 1006
大型语言模型（LLM）在生成跨不同主题的真实文本方面表现出令人印象深刻的能力。人们担心它们可能被用来制作具有欺骗性意图的虚假内容，尽管迄今为止的证据仍然是轶事。本文介绍了一个关于 Twitter 僵尸网络的案例研究，该僵尸网络似乎利用 ChatGPT 来生成类似人类的内容。通过启发式方法，作者识别了1,140 个帐户并通过手动注释对其进行验证。这些帐户形成了密集的虚假角色集群，这些角色表现出类似的行为，包括发布机器生成的内容和窃取的图像，并通过回复和转发相互互动。ChatGPT 生成的内容会。
Context-Aware Saliency Detection的代码可以帮我写出来吗？
06-01
当然可以，但是需要使用特定的计算机视觉库和工具，例如Python中的OpenCV和Matplotlib。下面是一个简单的示例代码，用于在Python中实现基本的Context-Aware Saliency Detection： ``` import cv2 import numpy as np import matplotlib.pyplot as plt # Load the image image = cv2.imread('example.jpg') # Convert the image to grayscale gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # Apply Gaussian blur to the image gray = cv2.GaussianBlur(gray, (7, 7), 0) # Compute the Scharr gradient magnitude representation of the image grad_x = cv2.Sobel(gray, cv2.CV_32F, 1, 0) grad_y = cv2.Sobel(gray, cv2.CV_32F, 0, 1) grad_mag = cv2.magnitude(grad_x, grad_y) # Normalize the gradient magnitude representation grad_mag = cv2.normalize(grad_mag, None, 0, 255, cv2.NORM_MINMAX) # Compute the context-aware saliency map of the image saliency = grad_mag * gray # Normalize the saliency map saliency = cv2.normalize(saliency, None, 0, 255, cv2.NORM_MINMAX) # Display the original image and the saliency map plt.subplot(121), plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) plt.title('Original Image'), plt.xticks([]), plt.yticks([]) plt.subplot(122), plt.imshow(saliency, cmap='gray') plt.title('Context-Aware Saliency Map'), plt.xticks([]), plt.yticks([]) plt.show() ``` 请注意，这只是一个简单的演示代码，不一定适用于所有情况。在实际使用中，您可能需要调整参数和使用更复杂的算法来实现更准确的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值