《PWC-Net：CNNs for Optical Flow Using Pyramid,Warping,and Cost Volume》论文笔记

最新推荐文章于 2024-03-19 20:28:47 发布
最新推荐文章于 2024-03-19 20:28:47 发布
阅读量1.6k 收藏 14
点赞数 5
分类专栏： # Optical Flow 文章标签： pwc-net
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m_buddy/article/details/118500301
版权
PWC-Net是一种基于CNN的光流估计方法，利用特征金字塔、warping和cost volume。它在模型大小和推理速度上优于FlowNet2，并简化了训练流程。通过特征warp、cost volume构建和上下文优化模块，PWC-Net能有效估计光流。在Sintel和KITTI基准测试中表现出色。
摘要由CSDN通过智能技术生成

参考代码（official）：PWC-Net
参考代码（pytorch convert）：pytorch-pwc

1. 概述

导读：这篇文章给出了一种使用CNN网络实现光流估计的方法，在该方法中采用了经典的特征金字塔结构作为特征提取网络。之后在金字塔的某个层级上使用上一级的光流作为warp引导，第二幅图像的特征将被warp。进而使用第二幅图像warp之后的特征和第一幅图像的特征构建一个cost volume。在此基础之上，添加一个估计网络从而实现当前金字塔层的光流估计。文章的方法简单明了，在模型的体积上和infer时间上分别比FlowNet2小了17倍和2倍，并且相比FlowNet2繁琐的训练过程文章的方法训练起来更加容易。

将文章的方法与之前的一些光流估计网络进行infer时间与参数量上的比较：
在这里插入图片描述

2. 方法设计

2.1 网络结构

在这里插入图片描述
文章方法的网络结构见上图的右图所示，其输入的图像表示为 I 1 , I 2 I_1,I_2 I1​,I2​，经过共享权重的CNN网络进行特征抽取（生成的特征描述为 f e a t = [ c t 1 , c t 2 , c t 3 , c t 4 , c t 5 , c t 6 ] feat=[c_t^1,c_t^2,c_t^3,c_t^4,c_t^5,c_t^6] feat=[ct1​,ct2​,ct3​,ct4​,ct5​,ct6​]，其中 t t t为图像的索引值），之后在 s t r i d e = [ 2 , 4 , 8 , 16 , 32 , 64 ] stride=[2,4,8,16,32,64] stride=[2,4,8,16,32,

最低0.47元/天 解锁文章
m_buddy
关注
  • 5
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
光流估计（三） PWC-Net 模型介绍
Hello World!
01-29 5633
PWC-Net 的网络模型在 CVPR,2018 由 NVIDIA 提出，发表文章为 《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》。与FlowNet2.0模型相比，PWCNet的大小缩小了17倍，训练成本更低且精确度稳定。此外，它在Sintel数据集（1024×436）图像上的运行速度大约为35 fps，是光流估计深度学习中非常基础且具有重要意义的一个网络模型。
【论文简述及翻译】PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume（CVPR 2018）
qq_43307074的博客
10-20 2103
【论文简述及翻译】PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume
PWC-Net：使用金字塔，翘曲和成本量的光流CNN-Python开发
05-25
PWC-Net：使用金字塔，翘曲和成本量的光流量CNN PWC-Net：使用金字塔，翘曲和成本量的光流量CNN版权所有（C）2018 NVIDIA Corporation。 版权所有。 根据CC BY-NC-SA 4.0许可（https://creativecommons.org/licenses/by-nc-sa/4.0/legalcode）获得许可。 用法对于Caffe用户，请参阅Caffe / README.md。 对于PyTorch用户，请参阅PyTorch / README.md。PyTorch实现几乎与Caffe实现匹配（Sintel训练集最后一次通过时的平均EPE：2.31，由Pytorc提供）
PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume
Bruce_0712的博客
10-20 1843
文章提出了一种用于光流估计的CNN模型，包括了三个部分：金字塔(Pyramid)，扭曲(Warping)，代价体积(Cost Volume)。每个画面有前后两个图，用第一个图的估计光流扭曲第二个图的CNN特征，将扭曲后的特征以及第一个图的特征构造一个代价体积，再来估计光流。 主要原理： 左边是传统的coarese-to-fine方法，右边是这篇文章提出的PWC网络。 第一幅图的光流扭曲第二幅图特征的公式。 第二幅图被扭曲的光流及第一幅图的光流计算代价体积的公式。 损失函数。 ..
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
卷子的博客
05-26 5461
创新思想： 文章提出了一种用于光流估计的CNN模型，包括了三个部分：金字塔(Pyramid)，扭曲(Warping)，代价体积(Cost Volume)。每个画面有前后两个图，用第一个图的估计光流扭曲第二个图的CNN特征，将扭曲后的特征以及第一个图的特征构造一个代价体积，再来估计光流。 主要原理： 左边是传统的coarese-to-fine方法，右边是这篇文章提出的PWC网络。 第一幅图的光流扭曲第二幅图特征的公式。 第二幅图被扭曲的光流及第一幅图的光流计算代价体积的公式。 损失函数。 主要实验结果
PWC-Net：CNNs for Optical Flow Using Pyramid,Warping,and Cost Volume
qq_35608277的博客
08-26 675
https://github.com/sniklaus/pytorch-pwc 使用CNN网络实现光流估计的方法，在该方法中采用了经典的特征金字塔结构作为特征提取网络。之后在金字塔的某个层级上使用上一级的光流作为warp引导，第二幅图像的特征将被warp。进而使用第二幅图像warp之后的特征和第一幅图像的特征构建一个cost volume。在此基础之上，添加一个估计网络从而实现当前金字塔层的光流估计。文章的方法简单明了，在模型的体积上和infer时间上分别比FlowNet2小了17倍和2倍，并且相比Flow
Paper reading——PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume(PWC-Net)
hxxjxw的博客
10-24 736
实现了一个effective的CNN model for 光流——PWC-Net PWC-net是一个能够根据两张图像来输出对应的光流图 提出了 PWC-Net，是比flownet更优的一个模型 提出了cost-volumn https://blog.csdn.net/qq_34451909/article/details/106361192 ...
【论文阅读】PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume
weixin_57974242的博客
10-29 614
探索动机：能量最小化方法计算成本太高。FlowNet2证明了串联多个网络可以提高光流估计的质量，但是这样的后果是训练复杂和参数量成倍增加。针对此问题，PWCNet利用多尺度特征来替换网络串联，其大致网络结构如下。PWCNet首先通过CNN卷积得到多层的特征，然后从低分辨率开始估计光流，并将低分辨率的光流上采样到高分辨率，同时构建costvolume和预测当前分辨率的光流，最后逐步得到最终分辨率的光流结果。
【论文笔记】——PWCLO-Net
wyk71456的博客
07-07 1049
论文翻译学习——PWCLO-Net 题目：PWCLO-Net Deep LiDAR Odometry in 3D Point Clouds Using Hierarchical Embedding Mask Optimization 使用分层嵌入掩码优化的 3D 点云中的深度 LiDAR 里程计 作者实验室：上海交通大学系统控制与信息处理教育部重点实验室医疗机器人研究所自动化系 摘要 本文提出了一种用于深度 LiDAR 里程计（ deep LiDAR odometry,这是干嘛的?）的新型 3D 点云学习模
pwcnet_PWC-Net_PWC-Net光流估计代码_pwcnet_nan_
10-01
PWC-Net光流估计代码，实现了高效的光流估计。支持输入图片或者视频。
PWC-Net_pytorch:pytorch实施的“ PWC-Net
05-10
正式版（Caffe＆PyTorch）在 ，谢谢大家的关注。 消息 修正我对“相关层”的用法，我一直在使用19 * 19邻域进行匹配。 NVIDIA非常善良地使用其出色的CUDA来使我的错误看起来不那么愚蠢，但我不想为了代码多样性之类而删除我那缓慢的缓慢的Cost Volume Layer。 致谢 ：框架，数据转换器，损失函数以及有关流量估计的许多详细信息。 ：Tensorboard记录器 ：与model.summary()类似的模型摘要 普华永道 这是CVPR2018论文的非官方pytorch实现：孙德清等。 “ PWC-Net：使用金字塔，翘曲和成本量的光流CNN” 。 资源 | （官方） （流量输出从上到下，最右边是groundtruth） 它开始输出合理的流量。 但是，时间和性能都需要改善。 希望您能喜欢此代码，并随时分享有关网络及其超参数的想法。 用法 要求 Pyth
pwc-net.pytorch:PyTorch-1.0 ＋中的现成PWC-Net模块
05-04
PWC-Net（PyTorch v1.0.1） Pytorch实现 。 我们将其作为现成的软件包提供： 安装后，只需将整个文件夹PWC_src复制到您的代码库即可使用。 有关详细信息，请参见demo.py。 环境 此代码已经过Python3.6和PyTorch1.0.1和Tesla K80 GPU的测试。 系统为Ubuntu 14.04，CUDA版本为10.0。 所有必需的python包都可以在requirements.txt找到。 安装 # install custom layers cd PWC_src/correlation_package python setup.py install 注意：根据您使用的GPU，您可能需要在添加gencode 。 您可以和找到有关gencode更多信息。 转换后的Caffe预训练模型 您可以在models文件夹中找到它们。 推论模式 修改输入的
PWC-net模型
weixin_46545036的博客
04-11 4729
原文链接：2006.04902.pdf (arxiv.org) 本文仅为笔记。 1.PWC-net模型 将图片1和图片2分别放入共享的cnn网络，通过金字塔结构生成特征图，这些特征图分别用于图像的warp操作（W），成本计算（cost volume computation）（C），和光流估计（F）。 最顶层的第5级，它只用进行成本计算和光流估计。之后通过右图的操作传入第4级，第五级中的光流图与第四级中的特征2进行warp操作，这样操作的目的是使当前层从一个比较好的“起点”开始。然后与第四级的
pwc（普华永道）招聘.net
qq_24239601的博客
01-12 1409
 作为一名软件工程师，您可以独自工作，或者在一个小团队中，根据我们的业务需要切换团队和项目。有了你的技术专长，你可能会被要求管理单个项目的优先级、最后期限和可交付成果。您可以咨询、建议、设计、开发、测试、部署、维护和增强软件解决方案。 研究、设想和开发创新的软件工具、应用程序、服务和平台，以扩展和改进普华永道的内部系统。 创建健壮的高容量生产应用程序，并快速开发原型。 为各种各样的项目
PWC-Net论文
weixin_43559672的博客
10-20 1891
论文地址 PWC-Net根据简单并且完备的原则设计：金字塔过程，warping，和cost volume。 网络的大致结构： Cast in a learnable feature pyramid, PWC-Net uses the current optical flow estimate to warp the CNN features of the second image. It then uses the warped features and features of the first ima
（6-6）光流估计：PWC-Net算法
最新发布
码农三叔
03-19 1473
PWC-Net（Pyramidal Warping-Net）使用金字塔结构来处理不同尺度的信息，通过金字塔池化和金字塔卷积融合多尺度特征，提高了光流估计的准确性。整个项目通过上述一系列的模块协同工作，可以从给定的视频中生成具有语义描述的字幕，提高了视频内容的理解和表达。同时，项目中还包括了一些附加功能，如支持并行处理多个视频、提供了一些可选的输出方式等。实例文件project-bmt.ipynb的具体实现代码如下所示。
CVPR2020_Cost Volume Pyramid Based Depth Inference for Multi-View Stereo
qq_43579156的博客
07-15 598
一、核心思想 1.以前算法的问题 内存消耗过高，或者增加了时间损耗。 MVSNet内存消耗是分辨率的三次方，PointMVSNet运行时间增长为迭代次数的线性倍，这篇文章对比的对象主要是PointMVSNet。 2.主要改进方向 加快运行速度 3.与PointMVSNet的不同 1.后者是在3D点云上执行卷积，而前者是在图像坐标上定义的规则网络上构建成本量，运行更快。 2.随着分辨率的提高，代价体变得越来越紧凑。 3.使用多尺度3D-CNN正则化从而覆盖大的感受野 4.可以用小分辨率图像输出小分辨率深度图
【阅读笔记】Cost Volume Pyramid Based Depth Inference for Multi-View Stereo
chetttt的博客
11-09 2905
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
论文阅读《Semantic Stereo Matching with Pyramid Cost Volumes》
cunese0088的博客
05-03 1551
SSPCV-Net（语义立体匹配网络） 目的：进一步捕捉视差的细节 主要模块： 数据集：Scene Flow, KITTI 2012, KITTI 2015, Cityscape(比较泛化能力) ----------------------------------------------------------------------------------------------...
PWC-Net C++部署
05-19
PWC-Net是一个基于深度学习的光流估计算法，使用C++进行部署可以提高算法的执行效率并且可以在没有GPU支持的环境下运行。以下是基于C++的PWC-Net部署步骤： 1. 安装OpenCV和Eigen库 PWC-Net依赖于OpenCV和Eigen库，需要先安装这两个库。 2. 下载PWC-Net源代码 可以从GitHub上下载PWC-Net的源代码，链接为https://github.com/NVlabs/PWC-Net/tree/master/PyTorch。 3. 将模型转换为ONNX格式 可以使用PyTorch将PWC-Net的模型转换为ONNX格式，链接为https://pytorch.org/docs/stable/onnx.html。 4. 使用ONNX Runtime加载模型 使用ONNX Runtime加载ONNX格式的PWC-Net模型，并对输入图像进行预处理。在这一步中，可以将输入图像调整为网络所需的大小，并将其转换为网络所需的数据类型。 5. 执行光流估计 调用ONNX Runtime的推理函数进行光流估计。在这一步中，将输入图像送入网络，得到光流估计结果。 6. 后处理 对光流估计结果进行后处理，例如对结果进行插值或者平滑处理。 总之，以上是PWC-Net的C++部署步骤，需要掌握一定的C++编程经验。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值