WX Chen
实用技术总结,前沿科技分享,欢迎交流技术和业务
展开
-
(光流)2020-ECCV-普林斯頓大學-RAFT: Recurrent All-Pairs Field Transforms for Optical Flow
一、计算图片featurefeature的分辨率是原图的1/8。二、计算相关性(这步是文章的一个核心)分别用4个不同的kernel size(1, 2, 4, 8)进行处理,得到4个correlation矩阵文章定义了一个查询操作(Correlation Lookup)三、迭代计算光流用一句话可以概括为:用GRU循环网络迭代计算出flow。四、监督训练总结:文章的主要思想:1、以多次迭代的方式来计算最终的flow,每次迭代时,通过cost volume计算出一个 [公式] ,这样逐步向原创 2021-10-19 09:23:56 · 278 阅读 · 0 评论 -
(插帧)2020-ArXiv-旷视&北大-RIFE:Real-Time Intermediate Flow Estimation for Video Frame Interpolation
贡献:能够720p实时视频插帧现有视频插帧大多先估计双向光流,然后采用线性组合方式近似中间流,然而这种处理方式会在运动边界区域产生伪影问题。提出了一种新颖而有效的IFNet直接估计中间流信息并用于视频插帧,可以通过连续两帧输入估计中间帧的光流信息。RIFE是首个基于光流的实时视频插帧方案,它能够以30fps对720p视频进行插帧。只估计一次光流Ft->0为更好处理大运动,IFNet采用了“Coarse-to-Fine”方式逐渐提升分辨率,也就是先在低分辨率上计算“粗糙”..原创 2021-10-19 09:23:10 · 689 阅读 · 2 评论 -
2019-CVPR-上交-(DAIN)Depth-Aware Video Frame Interpolation
可以把30fps的进一步插帧到480fps(16倍插帧)英伟达的Super SloMo只用在了真实拍摄的视频上,而这项研究却可以扩展到常见的任何类型视频:电影、定格动画、 动画卡通等等。DAIN的全称是Depth-Aware Video Frame Interpolation,即深度感知视频帧插值。提出了一种通过探索深度信息来检测遮挡的方法。开发了一个深度感知光流投影层来合成中间流,中间流对较远的对象进行采样。此外,学习分层功能以从相邻像素收集上下文信息。给定两个时刻的输入帧,先估计光流和深度原创 2021-10-18 20:47:29 · 501 阅读 · 0 评论 -
2018-CVPR-NVIDIA-Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Inte
基于光流反向变换的框架第一部分是双向光流估计,第二部分是进行中间帧的合成。采用了stacking的思想,将光流的估计分成两个阶段,第一阶段是粗估计,第二阶段再进行精调,从而来改善图像的生成效果。此外第二阶段还要估计出掩膜权重。参考https://zhuanlan.zhihu.com/p/69538032网络结构...原创 2021-07-19 14:51:18 · 316 阅读 · 0 评论 -
2017-ICCV-(SepConv)Video Frame Interpolation via Adaptive Separable Convolution
基于卷积核合成的框架卷积核同时考虑运动估计和 re-sampling。 对于 large motion,就需要 large kernels。输出 两个 41×41 kernels,对于一张 1080p 图像的合成, the output kernels alone will require 26 GB of memory当我们采用了separable convolution, For a 1080p video frame, using separable kernels that ...原创 2021-01-12 14:05:08 · 465 阅读 · 2 评论 -
2017-ICCV-(DVF)Video Frame Synthesis using Deep Voxel Flow
传统 optical-flow-based solutions 当 flow estimation 失败的时候,就变得非常困难;而最新的基于神经网络的方法直接预测像素值,经常产生模糊的结果。通过训练一个神经网络,来学习去合成视频帧,通过 flowing pixel values from existing ones, 我们称之为:deep voxel flow. 所提出的方法不需要人类监督,任何video都可以用于训练,通过丢掉,并且预测现有的frames。本文所涉及到的两个重要的部分,一个是 vi原创 2021-01-04 16:04:06 · 545 阅读 · 0 评论 -
传统插帧方法
使用ffmpeg自带的插帧算法ffmpeg -threads 16 -i in.mp4 -filter_complex "minterpolate='fps=60'" out.mp4ffmpeg -threads 16 -s 1920x1080 -pix_fmt yuv420p -i in.yuv -filter_complex "minterpolate='fps=60'" out.yuv自己常用的ffmpeg命令_zhoudegui88的博客-CSDN博客_ffmpeg gamma先用传原创 2021-10-19 09:18:33 · 4346 阅读 · 0 评论 -
光流数据集
Middlebury数据集仅包含8个用于训练的图像对,其中使用四种不同技术生成真实的光流。位移非常小,通常低于10像素。KITTI数据集较大(194个训练图像对)并且包括大位移,但仅包含非常特殊的运动类型。通过使用相机和3D激光扫描仪同时记录场景,从现实世界获得ground truth。这假定场景是刚性的,并且运动源于移动的观察者。而且,不能捕获远处物体的运动,例如天空,导致产生稀疏的光流。Sintel 数据集从渲染的人工场景中获取ground truth,特别注意真实的图像属性。flying原创 2021-09-13 10:03:38 · 2440 阅读 · 0 评论 -
经典光流估计算法和光流对齐方法
LK光流(稀疏光流)传统算法:2003 - Gunner Farneback - Two-Frame Motion Estimation Based on Polynomial Expansion (多项式展开)(稠密光流)flow = cv2.calcOpticalFlowFarneback(img0, img1, None, 0.5, 3, 15, 3, 5, 1.2, 0)https://www.cnblogs.com/luofeiju/p/11971181.htmlDee原创 2021-09-13 10:16:28 · 1424 阅读 · 0 评论 -
光流学习入门
使用不同的颜色和亮度表示光流的大小和方向,使用颜色表示光流的方向,亮度表示光流的大小。光流方法网站https://vision.middlebury.edu/flow/eval/results/results-e1.php原创 2021-10-18 20:54:01 · 200 阅读 · 0 评论