【知识星球】视频分析/光流估计网络系列上线

最新推荐文章于 2024-04-13 22:32:42 发布
最新推荐文章于 2024-04-13 22:32:42 发布
阅读量499 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hacker_long/article/details/100138445
版权

欢迎大家来到《知识星球》专栏，这两天有三AI知识星球会更新一些光流估计相关的网络介绍，在视频分析等任务中，光流有着举足轻重的地位。

作者&编辑 | 言有三

有三AI知识星球-网络结构1000变

FlowNet 2.0

640?wx_fmt=png

FlowNet是首个使用CNN来预测光流的网络，其效果还是不如最好的传统算法，FlowNet 2.0则是该算法的进阶版，只增加了少量的计算量，有更平滑的预测结果，更精细的细节，取得了与最好的传统算法持平的结果。

作者/编辑 言有三

网络结构如上，可以看出这是一个级联的形式，第一个网络是FlowNetC网络，它的输出就是光流，然后作为下一个网络FlowNetS的输入。

FlowNetS的输入还包括Image1，Image2，Image2基于预测出来的光流完成的变换，以及Image1和Image2基于预测出来的光流完成的变换的差值，总计5个输入，串接两个这样的FlowNetS模块。

FlowNetC和FlowNetS的具体结构大家可以看上一期FlowNetS的介绍。

最后我们再看一下图中的FlowNet-SD那一块到底是什么。

不管是Chairs还是Things3D，其中的运动幅度都是比较大的，而真实数据的运动位移很小，这就导致训练出来的模型在真实数据集上表现差，细不精度低，如下图左图。

640?wx_fmt=png

FlowNet-SD就是用于改进这一点的，它使用更小的卷积核和步长，具体配置如下：

640?wx_fmt=png

除了结构上的不同，FlowNet2.0与FlowNet在数据的使用上也不同，增加了3D的训练数据集FlyingThings3D，可以看成是之前使用的Chairs的3D版，但是包含了真实的3D运动和光照变换。

如何和原来的2D数据集一起使用是个大问题，文章中测试了4种组合，即单独使用Chairs(22k)、单独使用Things3D(22k)、两者混合(从44k中采样出22k)以及先用Chairs预训练再用Things3D微调的方案。

学习率的调整也用了两种配置，如下：

640?wx_fmt=png

可知一种学习率下降较快，另一种下降较慢，使用了两步方案，那么结果如何呢

640?wx_fmt=png

如上，可以知道数据集的使用方法和学习率策略都是有影响的，这就比较需要经验了。如果只使用3D数据集，效果还不如2D数据集，这大概率说明训练太难了。

总的说来，FlowNet2的网络结构非常复杂，一点都不优雅。

以下是现实场景的光流预测结果，可以看出FlowNet2的结果非常的优秀，在精度和计算量上相比其他方法有明显优势。

640?wx_fmt=jpeg

[1] Ilg E, Mayer N, Saikia T, et al. Flownet 2.0: Evolution of optical flow estimation with deep networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 2462-2470.


更多模型解读和数据集

加入有三AI知识星球即可获取

每日更新网络架构解读

已经超过3万字的内容

每日更新数据集

大量干货供你下载


640?wx_fmt=png

640?wx_fmt=jpeg

转载文章请后台联系

侵权必究

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

往期精选

言有三
关注
实时 摔倒识别 /运动分析/打架等异常行为识别/控制手势识别等所有行为识别全家桶 原理 + 代码 + 数据+ 模型 开源！
cv君的博客
03-02 6万+
文章目录一、 基本过程和思想二 、视频理解还有哪些优秀框架三、效果体验~使用手势：python run_gesture_recognition.py健身_跟踪器：卡路里计算三、训练自己数据集步骤然后，打开这个网址：点击一下start new project但是官方的制作方法是有着严重bug的~我们该怎么做呢！原代码解读 大家好，我是cv君，很多大创，比赛，项目，工程，科研，学术的炼丹术士问我上述这些识别，该怎么做，怎么选择框架，今天可以和大家分析一下一些方案： 用单帧目标检测做的话，前后语义相关性很差（也有
LiteFlowNet：用于光流估计的轻量级卷积神经网络，CVPR 2018（Spotlight论文，6.6％）-C/C++开发
05-26
LiteFlowNet这个存储库（https://github.com/twhui/LiteFlowNet）是我论文LiteFlowNet的正式发行版LiteFlowNet：CVPR 2018中用于光流估计的轻量级卷积神经网络（Spotlight）。 LiteFlowNet此存储库（https://github.com/twhui/LiteFlowNet）是LiteFlowNet的正式发布，适用于我的论文LiteFlowNet：CVPR 2018中用于光流估计的轻量级卷积神经网络（Spotlight）。 该文件的最新版本可在arXiv上找到。 LiteFlowNet是一种轻量级，快速且准确的光学流CNN。 我们开发了几个专门的模块，包括金字塔特征，级联流推断（成本量+亚像素细化），特征翘曲
PWC光流估计网络
Douzaikongcheng的博客
08-24 915
PWC光流估计网络
光流估计
King
01-15 293
光流估计 Lucas-Kanade算法 import cv2 import numpy as np cap=cv2.VideoCapture('../res/test.avi') feature_params=dict(maxCorners=100, qualityLevel=0.3, minDistance=7) lk_params=dict(winSize=(15, 15), ma...
基于空间金字塔网络的光流估计
mytzs123的博客
09-17 1644
Optical Flow Estimation using a Spatial Pyramid Network我们学习通过结合经典的空间金字塔公式和深度学习来计算光流。通过当前流量估计和计算流量更新，在每个金字塔级别扭曲一对图像，通过从粗到细的方法估计大型运动。我们不是在每个金字塔层上对目标函数进行标准的最小化，而是在每层训练一个深度网络来计算流更新。与最近FlowNet方法不同，该网络不需要处理大型运动;这些都由金字塔来处理。这有几个好处。首先，我们的空间金字塔网络(SPyNet)要简单得多，在模型参数方
【光流（Optical Flow）估计】
weixin_51154380的博客
04-13 835
光流（Optical Flow）是计算机视觉中的一种技术，用于估计图像中每个像素点在连续帧之间的运动情况。光流算法的目标是找到在两个相邻帧之间从一个位置移动到另一个位置的图像中的每个像素的位移向量。Lucas-Kanade 算法的基本思想是在一个局部窗口内对图像进行匹配，并假设这个窗口内的像素具有相同的运动。光流算法基于一个假设：相邻帧中的相同物体在图像中的运动应该是连续的。这些基于深度学习的光流算法通常在大规模的光流数据集上进行训练，以学习图像中的运动模式。
视频光流估计
吴建明wujianming_110117
04-27 1837
视频光流估计 1.摘要 近年来，深度学习技术，作为一把利剑，广泛地应用于计算机视觉等人工智能领域。如今时常见诸报端的“人工智能时代”，从技术角度看，是“深度学习时代”。光流估计是计算机视觉研究中的一个重要方向，然而，因为其不容易在应用中“显式”地呈现，而未被大众熟知。随着计算机视觉学界从图像理解转向视频理解，互联网用户从发布图片朋友圈转向发布短视频，人们对视频的研究和应用的关注不断增强。光流估计作...
知识星球JavaGuide面试大全
03-07
知识星球JavaGuide面试大全,包括大厂面试题,万字总结java面试题和答案(1),Java多线程,Java基础,java虚拟机,北京-百度-Java中级,北京-京东-Java中级,操作系统,杭州-阿里云-Java中级,计算机网络,数据结构与算法,数据库...
flownet2中所用cudnn.hpp
04-25
flownet2编译时出现错误error: too few arguments to function ‘cudnnStatus_t ，直接替换相应文件即可
Chrome_插件：知识星球视频播放插件，解决无法网页全屏播放的问题，
最新发布
09-03
Chrome_插件：知识星球视频播放插件，解决无法网页全屏播放的问题，加上适当的优化_chrome-plugin-knowledge-planet-video-player加上适当的优化_chrome-plugin-knowledge-planet-video-player.zip
光流估计（三） PWC-Net 模型介绍
Hello World!
01-29 5925
PWC-Net 的网络模型在 CVPR,2018 由 NVIDIA 提出，发表文章为 《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》。与FlowNet2.0模型相比，PWCNet的大小缩小了17倍，训练成本更低且精确度稳定。此外，它在Sintel数据集（1024×436）图像上的运行速度大约为35 fps，是光流估计深度学习中非常基础且具有重要意义的一个网络模型。
FlowFormer: Transformer结构光流估计
3D视觉工坊
10-13 1331
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨泡泡机器人来源丨泡泡机器人SLAM标题: FlowFormer: A Transformer Architecture for Optical Flow作者：Zachary Teed, Lahav Lipson, Jia Deng来源：arXiv 2022编译：cristin审核: zhh摘要 大家好，今天为大家带来的文章:Flo...
【光流】——RAFT: 稠密的光流场估计(代码浅析)
怡宝2号
12-09 6600
转载自:RAFT: 稠密的光流场估计 尊重原创，请读原文 一、摘要 本文提出了Recurrent All-Pairs Field Transforms(RAFT), 一个光流估计的深度神经网络. RAFT 提取像素级的特征, 为所有像素建立多尺度 4D 关联信息, 通过查找4D关联信息, 循环迭代的更新光流场. 本文算法在KITTI、Sintel数据集上取得了state-of-the-art的表现. 同时, RAFT在多个数据集上有很强的泛化能力, 并且在训练速度、参数数量、推理时间上都有很高的效率. .
【论文学习】神经光流网络——用卷积网络实现光流预测（FlowNet: Learning Optical Flow with Convolutional Networks）
热门推荐
Joe_quan的博客
01-16 4万+
这周学习了一篇文章，文章的名字叫做FlowNet: Learning Optical Flow with Convolutional Networks 一般的卷积神经网络都被用来进行分类，最近的一些神经网络结构可以用于对每个像素点进行预测，这篇文章主要介绍的就是他们把卷积神经网络改成两个网络结构，并对他们进行点对点的训练，使网络能从一对图片中预测光流场，每秒达到5到10帧率，并且准确率也达到了业界标准。
光流估计（二） FlowNet 系列文章解读
Hello World!
01-26 5692
FlowNet（或称为FlowNet 1.0）是FlowNet系列所提出的第一个光流估计网络，也是最重要最基础的网络，其思想来自于论文《FlowNet: Learning Optical Flow with Convolutional Networks》，这篇文章发布在IEEE International Conference on Computer Vision (ICCV), 2015。
光流网络：FlowNet
starlight1231的博客
04-11 412
光流估计网络
光流网络结构图（flownetS）
yihonggongzi1234的博客
02-27 343
光流网络结构图（flownetS），根据代码：https://github.com/NVIDIA/flownet2-pytorch
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值