几分钟走进神奇的光流|FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks

最新推荐文章于 2024-08-18 09:00:00 发布
最新推荐文章于 2024-08-18 09:00:00 发布
阅读量3.2w 收藏 78
点赞数 14
文章标签： 光流 深度学习 cnn FlowNet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bea_tree/article/details/67049373
版权

故事背景

那是15年的春天，本文的作者和其他几个人，使用CNN做光流估计，于是FlowNet成了第一个用CNN做光流的模型，当时的结果还不足以和传统结果相匹配。2016年冬天，作者和一群小伙伴又基于Flow Net的工作进行了改进，效果得到了提升，可以与传统方法相匹敌。
15年的思想主要是把两张用来估计光流信息的图片输入网络，经过训练使网络学到光流信息，后面会讲到当时用到的两个网络。
作者
Eddy Ilg, Nikolaus Mayer, Tonmoy Saikia, Margret Keuper, Alexey Dosovitskiy, Thomas Brox
项目地址
http://lmb.informatik.uni-freiburg.de/Publications/2016/IMKDB16/
FlowNet1.0 地址
http://lmb.informatik.uni-freiburg.de/resources/binaries/

一句话总结

本文依然是用CNN来做光流估计，提出了一种训练方法，引入了Stack的结构，对小位移单独处理，提高了网络的效果。好评！

看点

  1. 训练时数据集的使用
  2. 网络结构
  3. 还有请留言:-D

0. 预备~

到了大家最喜欢看网络结构的时候了
这一节主要介绍在第一版FlowNet中的两个网络结构及几个数据库

0.1 FlowNetS

这里写图片描述
第一个模型：FlowNetS
主要特色：
- 输入由原来的一张图片变为了两张，通道数由3变为6
- 多层feature引入最后的Refinement模块，Refinement的具体结构将在后面涉及

最低0.47元/天 解锁文章
bea_tree
关注
专栏目录
卷积神经网络算法_FlowNet到FlowNet2.0：基于卷积神经网络的光流预测算法
weixin_39897449的博客
11-23 554
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。书的购买链接书的勘误，优化，源代码资源原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不得转载，不能用于商业目的。 导言光流预测一直都是计算机视觉中的经典问题，同时又是解决很多其他问题的基础而备受关注，例如，运动估计、运动分割和行为识别。随着深...
FlowNet2.0:Evolution of Optical Flow Estimation with Deep Networks
qq_25379821的博客
08-28 1212
Abstract    FlowNet证明了光流提取可以映射为一个学习问题。但是关于光流质量的先进技术依然由传统的方法所定义。特别在小位移和真实世界数据，FlowNet不能使用变分的方法计算。在这篇文章里，我们发展了端对端的光流学习概念并且使得它可以很好的实现。在质量和速度上的巨大提升由以下三个主要的贡献支撑：第一，我们关注训练的数据并且发现在训练过程中给定学习数据的顺序是很重要的。第二，我们开发了
[翻译]FlowNet: Learning Optical Flow with Convolutional Networks
weixin_42164269的博客
06-07 4015
摘要 卷积神经网络（CNNs）最近在各种计算机视觉任务中非常成功，特别是那些与识别有关的任务。光流量估计并不在CNN能够成功完成的任务当中。本文提出了一种能够将光流估计问题作为监督学习任务的CNNs。我们提出并比较两个架构：一个通用架构和另一个架构，包括一个在不同的图像位置关联特征向量的层。由于现有的地ground truth数据集不够大，不足以训练CNN，所以我们生成了一个大型的合成Flyin...
flownet2-pytorch:FlowNet 2.0的Pytorch实施
04-01
flownet2-pytorch FlowNet Pytorch实现。 支持多种GPU训练，并且代码提供了有关干净数据集和最终数据集的训练或推理示例。 相同的命令可用于训练或推断其他数据集。 有关更多详细信息，请参见下文。 还支持使用fp16（半精度）进行推理。 如需更多帮助，请键入 python main.py --help 网络架构 以下是提供的不同Flownet神经网络架构。 每个网络的batchnorm版本也可用。 FlowNet2S FlowNet2C FlowNet2CS FlowNet2CSS FlowNet2SD FlowNet2 自定义图层 FlowNet2或FlowNet2C*结构依赖于自定义层Resample2d或Correlation 。 这些层与CUDA内核的pytorch实现可在 。 注意：当前，半精度内核不适用于这些层。 数据加载器 dat
全球最大的开源项目管理基地 GitHub 的魅力
最新发布
Lion_Long的博客
08-18 3516
GitHub不仅为开发者提供了代码托管、版本控制和项目协作的强大工具，更是一个汇聚了全球程序员和技术爱好者的社区。在这个平台上，数以百万计的开源项目不断地推动着软件开发的边界，促进了知识共享和技术传播。本文将深入探讨GitHub的魅力所在，分析其在开源生态系统中的重要角色，以及为什么它成为无数开发者和企业的首选。
flownet2-tf：FlowNet 2.0：深度网络的光流估计的发展
02-06
FlowNet2（TensorFlow） 此仓库包含用于TensorFlow的FlowNet2 [1]。 它包括FlowNetC，S，CS，CSS，CSS-ft-sd，SD和2。 安装 pip install enum pip install pypng pip install matplotlib pip install image pip install scipy pip install numpy pip install tensorflow Linux： sudo apt-get install python-tk 您必须安装CUDA： make all 下载砝码 要下载所有模型
flownet2-caffe-windows
07-25
flownet2-caffe 在windows 下的实现，修改部分，下载后替换caffe-windows官方版本的对应文件夹再编译即可使用，具体可以参考我的博客 https://blog.csdn.net/qq_25379821/article/details/81175158
flownet2中所用cudnn.hpp
04-25
flownet2编译时出现错误error: too few arguments to function ‘cudnnStatus_t ，直接替换相应文件即可
Pytorch implementation of FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
马本腾的博客
08-20 4400
本博客是基于NVIDIA 开源代码 https://github.com/NVIDIA/flownet2-pytorch 而来 代码支持多GPU运行 例子数据集 MPI-Sintel 下载地址： http://sintel.is.tue.mpg.de/ 所提供的的网络结构 model： FlowNet2S FlowNet2C FlowNet2CS FlowNet2CSS FlowNet...
FlowNet到FlowNet2.0：基于卷积神经网络的光流预测算法
SIGAI_CSDN的博客
06-12 6106
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。 导言 光流预测一直都是计算机视觉中的经典问题，同时又是解决很多其他问题的基础而备受关注，例如，运动估计、运动分割和行...
Python-FlowNet的PyNet实现
08-11
FlowNet的PyNet实现
FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
网瘾少年康复中心
06-14 6666
最近专心看flownet，在跑代码，但愿有个好结果。如果出问题，应该是delay_mult也设置成10的问题了。 训练过程看flownet2论文 从图中结果看，flownet2的结果更加平滑，2代相对于1代在质量和速度上都有了显著的提升 1.注重了训练样本质量 2.提出了网络堆结构，以中间光流状态改变第二张图的形态 3.通过引入专门针对小运动的子网络来增强网络对于小位移的性能
【学习笔记】光流(Optical Flow)的基本知识与光流估计方法
m0_59701064的博客
02-28 6121
进行了光流(Optical Flow)法的相关知识介绍，同时介绍了几种常见的基于深度学习的光流估计的研究。
Lucas-Kanade Optical Flow in python
vola的专栏
07-29 2546
import numpy as np import cv2 cap = cv2.VideoCapture('slow.flv') # params for ShiTomasi corner detection feature_params = dict( maxCorners = 100, qualityLevel = 0.3,
19.光流估计
potato123232的博客
09-09 2890
1介绍 光流估计是判断移动物体的移动距离与方向 亮度恒定，小运动，空间一致 是光流估计的三个前提 下面是我们对之前行人的视频进行光流估计，下面绘制出的白色轨迹就是光流估计的结果 2Lucas-Kanade算法 光流估计是用这个算法做的 上面这个方程使用的约束条件是亮度一致与小运动 I是某一帧的像素点，x是横坐标，y是纵坐标，t是当前的对应帧数，这个约束方程的意思是，只有当我的点满足这个条件才能用，第二行是泰勒级数展开，我们最终通过约束方程得到了最后这个式子，我们求u和...
【光流（Optical Flow）估计】
weixin_51154380的博客
04-13 844
光流（Optical Flow）是计算机视觉中的一种技术，用于估计图像中每个像素点在连续帧之间的运动情况。光流算法的目标是找到在两个相邻帧之间从一个位置移动到另一个位置的图像中的每个像素的位移向量。Lucas-Kanade 算法的基本思想是在一个局部窗口内对图像进行匹配，并假设这个窗口内的像素具有相同的运动。光流算法基于一个假设：相邻帧中的相同物体在图像中的运动应该是连续的。这些基于深度学习的光流算法通常在大规模的光流数据集上进行训练，以学习图像中的运动模式。
光流估计
HC_DATA的博客
01-08 6023
应用场景 相机静止，目标运动—背景提取（减除） 相机运动，目标静止—光流估计（全局运动） 相机和目标均运动—光流估计 光流估计基本思想 光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，...
光流估计（一） 光流的简介与操作
Hello World!
01-20 5614
​ 光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，也有人将二维平面图像内特定像素点的灰度/亮度的瞬时变化率定义为光流（Optical flow can also be defined as the distribution of apparent velocities of movement of brightness pattern in an image.） ，当时间间隔很小时（比如视频的连续前后两帧之间）也等同于空间点在成像平面内投影点的位移。
评论 27
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值