FlowNet

最新推荐文章于 2024-08-21 09:16:50 发布

会飞的丑橘

最新推荐文章于 2024-08-21 09:16:50 发布

阅读量467

点赞数 8

分类专栏：学习笔记文章标签： python 人工智能深度学习神经网络

本文链接：https://blog.csdn.net/weixin_45387588/article/details/135193732

版权

学习笔记专栏收录该内容

10 篇文章 4 订阅

订阅专栏

第一个端到端学习光流的卷积神经网络（FlowNet）

光流网络是一种基于深度学习的方法，用于估计图像中像素级别的运动信息，即光流。光流表示相邻帧之间像素的运动模式，可以帮助理解视频中物体的运动和动态场景的变化。

《FlowNet: Learning Optical Flow with Convolutional Networks》是由Alexey Dosovitskiy等人于2015年提出的论文。这篇论文介绍了FlowNet，这是第一个端到端学习光流的卷积神经网络。FlowNet的设计利用了卷积神经网络（CNN）的架构，通过学习从图像对到其光流的映射，实现了光流的预测和计算。

论文链接：chrome-extension://icfnljfpacimpcbpammmbclmhenimhfc/pdf-viewer/web/viewer.html?file=https%3A%2F%2Fopenaccess.thecvf.com%2Fcontent_iccv_2015%2Fpapers%2FDosovitskiy_FlowNet_Learning_Optical_ICCV_2015_paper.pdf

FlowNetS把两张图片直接堆叠起来进行特征提取，而FlowNet corr稍微复杂一点，两张图片分别进行特征提取再通过了一个名为”correlation“的操作，

FlowNet的变体和改进

随后，研究者们提出了多个改进版本，包括FlowNet 2.0等。这些改进主要集中在提高精度、处理复杂场景和减少计算复杂度等方面。

FlowNet 1.0

“FlowNet: Learning Optical Flow with Convolutional Networks”发表于2015年，是第一个端到端学习光流的卷积神经网络。它提供了一个基础框架，但在处理复杂场景和精确光流估计方面存在一些限制。

FlowNetS 和FlowNetC

FlowNet 2.0

“Flownet 2.0: Evolution of optical flow estimation with deep networks”

在FlowNet 1.0发布后的2017年左右推出。

FlowNet证明了光流估计可以作为一个学习问题。然而，关于流的质量的现有技术仍然是通过传统方法来定义的。特别是在小位移和真实世界数据方面，FlowNet无法与变分方法竞争。

FlowNet 2.0提出了光流的端到端学习的概念，并使其非常有效。质量和速度的大幅提高。改进了网络结构、引入了更复杂的损失函数和多尺度的训练方式，以提高光流估计的准确性和鲁棒性。

论文链接：chrome-extension://icfnljfpacimpcbpammmbclmhenimhfc/pdf-viewer/web/viewer.html?file=https%3A%2F%2Fopenaccess.thecvf.com%2Fcontent_cvpr_2017%2Fpapers%2FIlg_FlowNet_2.0_Evolution_CVPR_2017_paper.pdf

LiteFlowNet

“LiteFlowNet: A Lightweight Convolutional Neural Network

for Optical Flow Estimation” 该网络2018年提出，在具有挑战性的Sintel最终通过和KITTI基准测试中的性能与FlowNet2不相上下，同时模型尺寸小30倍，运行速度快1.36倍。通过轻量级级联网络在每个金字塔级别提供了一种更有效的流推理方法。它不仅通过早期校正提高了流量估计的准确性，而且允许在我们的网络中无缝地结合描述符匹配。提出了一种新的流正则化层，通过使用特征驱动的局部卷积来改善异常值和模糊流边界的问题。

论文链接：chrome-extension://icfnljfpacimpcbpammmbclmhenimhfc/pdf-viewer/web/viewer.html?file=https%3A%2F%2Fopenaccess.thecvf.com%2Fcontent_cvpr_2018%2Fpapers%2FHui_LiteFlowNet_A_Lightweight_CVPR_2018_paper.pdf

FlowNet3D

“FlowNet3D: Learning Scene Flow in 3D Point Clouds” 该网络2019年提出。以前的大多数方法都侧重于立体和RGB-D图像作为输入，但很少有人尝试直接从点云估计场景流。在这项工作中，他们提出了一种名为FlowNet3D的新型深度神经网络，该网络以端到端的方式从点云中学习场景流。他们的网络同时学习点云和表示点运动的流嵌入的深层分层特征，并由两个新提出的点集学习层支持。

论文链接：chrome-extension://icfnljfpacimpcbpammmbclmhenimhfc/pdf-viewer/web/viewer.html?file=https%3A%2F%2Fopenaccess.thecvf.com%2Fcontent_CVPR_2019%2Fpapers%2FLiu_FlowNet3D_Learning_Scene_Flow_in_3D_Point_Clouds_CVPR_2019_paper.pdf

FastFlowNet

“FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation” 该网络2021年提出，FastFlowNet是一个轻量级模型，用于快速准确的光流预测。采用一种新的头部增强池化金字塔（HEPP）特征提取器，在降低参数的同时增强高分辨率金字塔特征;其次，我们引入了一种新的中心密集膨胀相关（CDDC）层，用于构建紧凑的成本量，可以保持较大的搜索半径，同时减少计算负担。第三，在每个金字塔层中植入一个高效的随机块解码器（SBD），以加速流量估计，同时精度略有下降。

论文链接：chrome-extension://icfnljfpacimpcbpammmbclmhenimhfc/pdf-viewer/web/viewer.html?file=https%3A%2F%2Farxiv.org%2Fpdf%2F2103.04524.pdf