几分钟走进神奇的光流|FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks

最新推荐文章于 2024-10-11 23:18:35 发布
最新推荐文章于 2024-10-11 23:18:35 发布
阅读量3.2w 收藏 78
点赞数 14
文章标签： 光流 深度学习 cnn FlowNet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bea_tree/article/details/67049373
版权

故事背景

那是15年的春天，本文的作者和其他几个人，使用CNN做光流估计，于是FlowNet成了第一个用CNN做光流的模型，当时的结果还不足以和传统结果相匹配。2016年冬天，作者和一群小伙伴又基于Flow Net的工作进行了改进，效果得到了提升，可以与传统方法相匹敌。
15年的思想主要是把两张用来估计光流信息的图片输入网络，经过训练使网络学到光流信息，后面会讲到当时用到的两个网络。
作者
Eddy Ilg, Nikolaus Mayer, Tonmoy Saikia, Margret Keuper, Alexey Dosovitskiy, Thomas Brox
项目地址
http://lmb.informatik.uni-freiburg.de/Publications/2016/IMKDB16/
FlowNet1.0 地址
http://lmb.informatik.uni-freiburg.de/resources/binaries/

一句话总结

本文依然是用CNN来做光流估计，提出了一种训练方法，引入了Stack的结构，对小位移单独处理，提高了网络的效果。好评！

看点

  1. 训练时数据集的使用
  2. 网络结构
  3. 还有请留言:-D

0. 预备~

到了大家最喜欢看网络结构的时候了
这一节主要介绍在第一版FlowNet中的两个网络结构及几个数据库

0.1 FlowNetS

这里写图片描述
第一个模型：FlowNetS
主要特色：
- 输入由原来的一张图片变为了两张，通道数由3变为6
- 多层feature引入最后的Refinement模块，Refinement的具体结构将在后面涉及

最低0.47元/天 解锁文章
bea_tree
关注
专栏目录
FlowNet2.0:Evolution of Optical Flow Estimation with Deep Networks
qq_25379821的博客
08-28 1250
Abstract    FlowNet证明了光流提取可以映射为一个学习问题。但是关于光流质量的先进技术依然由传统的方法所定义。特别在小位移和真实世界数据，FlowNet不能使用变分的方法计算。在这篇文章里，我们发展了端对端的光流学习概念并且使得它可以很好的实现。在质量和速度上的巨大提升由以下三个主要的贡献支撑：第一，我们关注训练的数据并且发现在训练过程中给定学习数据的顺序是很重要的。第二，我们开发了
卷积神经网络算法_FlowNet到FlowNet2.0：基于卷积神经网络的光流预测算法
weixin_39897449的博客
11-23 578
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。书的购买链接书的勘误，优化，源代码资源原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不得转载，不能用于商业目的。 导言光流预测一直都是计算机视觉中的经典问题，同时又是解决很多其他问题的基础而备受关注，例如，运动估计、运动分割和行为识别。随着深...
flownet2-pytorch:FlowNet 2.0的Pytorch实施
04-01
flownet2-pytorch FlowNet Pytorch实现。 支持多种GPU训练，并且代码提供了有关干净数据集和最终数据集的训练或推理示例。 相同的命令可用于训练或推断其他数据集。 有关更多详细信息，请参见下文。 还支持使用fp16（半精度）进行推理。 如需更多帮助，请键入 python main.py --help 网络架构 以下是提供的不同Flownet神经网络架构。 每个网络的batchnorm版本也可用。 FlowNet2S FlowNet2C FlowNet2CS FlowNet2CSS FlowNet2SD FlowNet2 自定义图层 FlowNet2或FlowNet2C*结构依赖于自定义层Resample2d或Correlation 。 这些层与CUDA内核的pytorch实现可在 。 注意：当前，半精度内核不适用于这些层。 数据加载器 dat
《深度学习》OpenCV 光流估计 原理、案例解析
最新发布
wx_AHao1004Y的博客
10-11 1216
光流估计是指通过计算相邻帧之间的像素位移，来估计图像中物体的运动信息。
flownet2-tf：FlowNet 2.0：深度网络的光流估计的发展
02-06
FlowNet2（TensorFlow） 此仓库包含用于TensorFlow的FlowNet2 [1]。 它包括FlowNetC，S，CS，CSS，CSS-ft-sd，SD和2。 安装 pip install enum pip install pypng pip install matplotlib pip install image pip install scipy pip install numpy pip install tensorflow Linux： sudo apt-get install python-tk 您必须安装CUDA： make all 下载砝码 要下载所有模型
flownet2-caffe-windows
07-25
flownet2-caffe 在windows 下的实现，修改部分，下载后替换caffe-windows官方版本的对应文件夹再编译即可使用，具体可以参考我的博客 https://blog.csdn.net/qq_25379821/article/details/81175158
flownet2中所用cudnn.hpp
04-25
flownet2编译时出现错误error: too few arguments to function ‘cudnnStatus_t ，直接替换相应文件即可
Pytorch implementation of FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
马本腾的博客
08-20 4418
本博客是基于NVIDIA 开源代码 https://github.com/NVIDIA/flownet2-pytorch 而来 代码支持多GPU运行 例子数据集 MPI-Sintel 下载地址： http://sintel.is.tue.mpg.de/ 所提供的的网络结构 model： FlowNet2S FlowNet2C FlowNet2CS FlowNet2CSS FlowNet...
FlowNet到FlowNet2.0：基于卷积神经网络的光流预测算法
SIGAI_CSDN的博客
06-12 6135
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。 导言 光流预测一直都是计算机视觉中的经典问题，同时又是解决很多其他问题的基础而备受关注，例如，运动估计、运动分割和行...
FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
网瘾少年康复中心
06-14 6694
最近专心看flownet，在跑代码，但愿有个好结果。如果出问题，应该是delay_mult也设置成10的问题了。 训练过程看flownet2论文 从图中结果看，flownet2的结果更加平滑，2代相对于1代在质量和速度上都有了显著的提升 1.注重了训练样本质量 2.提出了网络堆结构，以中间光流状态改变第二张图的形态 3.通过引入专门针对小运动的子网络来增强网络对于小位移的性能
Python-FlowNet的PyNet实现
08-11
FlowNet的PyNet实现
【论文阅读】【综述】从Optical Flow到Scene Flow
麒麒哈尔的博客
07-01 7000
文章目录Optical FlowFlowNet（2015ICCV）FlowNet2.0（2017CVPR）Sene FlowPoint-basedPointFlowNetFlowNet3DFlowNet3D++HPLFlowNetPointPWC-NetVoxel-basedMotionNet Scene Flow可以理解为3D的光流，数据换成了点云，Flow是用xyz三个坐标表示。 Optical Flow FlowNet（2015ICCV） FlowNet2.0（2017CVPR） CVPR Sene
CVPR 2016-12-07
houxiaogang05
06-15 463
https://blog.csdn.net/u011171235/article/details/53606988[1] arXiv:1612.01991 [pdf, other] Diverse Sampling for Self-Supervised Learning of Semantic Segmentation 语义分割中自监督学习的多样性抽样 Mohammadreza Mostajab...
FlowNet2.0论文笔记
weixin_30252709的博客
07-29 427
原论文标题：FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks 文章是对FlowNet的进一步改进，主要贡献为如下三个方面： 训练数据集的调度对于模型的性能有较大的影响。 PS：光流的数据集都比较小，一般需要几个数据集一起train，故如何使用这些数据集是至关重要的。 ...
[翻译]FlowNet: Learning Optical Flow with Convolutional Networks
weixin_42164269的博客
06-07 4047
摘要 卷积神经网络（CNNs）最近在各种计算机视觉任务中非常成功，特别是那些与识别有关的任务。光流量估计并不在CNN能够成功完成的任务当中。本文提出了一种能够将光流估计问题作为监督学习任务的CNNs。我们提出并比较两个架构：一个通用架构和另一个架构，包括一个在不同的图像位置关联特征向量的层。由于现有的地ground truth数据集不够大，不足以训练CNN，所以我们生成了一个大型的合成Flyin...
浅谈deep stacking network --- 一种比较实用的deep learning算法
孤独de雨
06-08 4734
原地址：http://www.dataguru.cn/article-3361-1.html 摘要: deep stacking network 是 Li Deng 提出的一种判别模型。现在的应用主要在于CTR IR和语言以及图像的分类和回归。 分享一下组会的讲稿。 附组会的ppt http://vdisk.weibo.com/s/zfic-IP2yag
集成学习总结 & Stacking方法详解
热门推荐
willduan的博客
07-21 7万+
集成学习主要分为 bagging， boosting 和 stacking方法。本文主要是介绍stacking方法及其应用。但是在总结之前还是先回顾一下继承学习。 这部分主要转自知乎。 1. Bagging方法：   给定一个大小为n的训练集 D，Bagging算法从中均匀、有放回地选出 m个大小为 n' 的子集Di，作为新的训练集。在这 m个训练集上使用分类、回归等算法，则可得到 m个模...
Keras中实现神经网络的Stacking方法
Jack_kun的博客
01-08 5368
Table of Contents 1. stack模型的一般集成方式2. 分类任务的定义3. 神经网络-多层感知器4. 训练并保存模型创建MLP模型并训练创建存放模型的文件夹创建MLP子模型并保存5. 独立Stacking Model载入子模型（sub-model）训练元模型（meta-learner）举例: 元模型=llogistic为例6. 集成的stacking Model-神经网络嵌入神...
目前开源数据集整理
人生而孤独，却不甘寂寞。
06-09 5万+
Attention! 我的Dr.Sure项目正式上线了，主旨在分享学习Tensorflow以及DeepLearning中的一些想法。期间随时更新我的论文心得以及想法。 Github地址：https://github.com/wangqingbaidu/Dr.Sure CSDN地址：http://blog.csdn.net/wangqingbaidu 个人博客地址：http://www.wa...
评论 27
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值