笔记：FlowNet2

最新推荐文章于 2023-10-31 12:33:33 发布
最新推荐文章于 2023-10-31 12:33:33 发布
阅读量911 收藏 3
点赞数
分类专栏： 深度学习 文章标签： 机器学习 深度学习 flownet 光流

在这里插入图片描述

介绍

  • 主要提升：
    • FlowNet2 在小距离移动上的性能更好
    • 觉少了噪音，是的输出的结果的边缘更加清晰
    • 大幅减少了运算量
  • 主要贡献：
    • 通过在不同的训练阶段使用不同的 dataset ，提升了网络的性能。
    • 通过 warping operation 和 多个网络堆叠，提升了网络的性能。
    • 针对小距离移动，设计了专门的dataset、专门的网络结构
    • 一种 Fusion 方法将两个网络融合到一起

Dataset Schedules

  • 增加了 FlyingThings3D 数据库，和 Chairs 对比这个数据库使用真实的3D模型、光效、物体的种类更多。
  • 不同的Learning Rate
    在这里插入图片描述
  • 不同的训练数据
    在这里插入图片描述

Stacking Networks

第一种方式：只使用 FlowNetS

  • 第一层的输入是两张图片
  • 第二层的输入是两张图片 + 上一层的光流 + 图片2的warping + 光流估计的错误
    • warping 过程使用了 bilinear interpolation
    • 问题：什么是 bilinear interpolation？在附录中
  • 两个网络的初始化：
    • 第一层：使用 Chairs→Things3D 得到的最优结果
    • 第二层：随机，并且在 Chairs 数据上训练，learning rate: S-long
  • learning rate 更新：
    • 第一层：可以固定不变，也可以在400K次迭代后跟随第二层一起更新，这样有利于第二层网络获得更好初始参数。

第一种方法的测试结果

在这里插入图片描述

  • 不使用 warping 会导致 overfiting
  • 使用 warping 总能提升性能
  • 在第一层网络后添加 loss 是有效的
  • 第一层网络参数不变效果最好
  • flow refinement after warping 可以减少 overfiting
  • 每次训练一层网络可以减少 overfiting
    • 问题：为什么？

第二种方式： FlowNetC + FlowNetS

这里主要探讨不同的组合方式 + 不同的网络size设计

  • 每一层网络都是用独立的参数，如果是用相同的参数堆叠多个网络并不能优化性能。
  • 每一层单独训练，训练网后固定参数，然后添加新的层。
  • 先用 Chairs S-long，然后 Things3D S-fine
  • 只在第一层是用 FlowNetC ，因为 FlowNetC 需要输入两张独立的图片。
  • 尝试缩小网络的规模，通过减少Channels，合理的设置是 3/8
    在这里插入图片描述
  • 不同组合的测试结果
    在这里插入图片描述

Small Displacements

Datasets

  • 传统光流估计并没有在小距离移动上体现出性能下降，所以猜测可能是训练数据库中缺少相关的样本。
  • 所以添加的小距离的数据库：ChairsSDHom ，增加了渐变色背景
    • 问题：增加渐变色背景的作用？这种背景模式表示移动方向是任意的，之前的数据库中缺少这种先验知识，所以这里补充上。
  • 数据中主要包括了小于一像素的距离

Small Displacement Network and Fusion

  • 总体上：通过对 FlowNet2-CSS 进行 fine turn得到这个网络。称为 FlowNet2-CSS-ft-sd
  • FlowNet2-CSS-ft-sd 使用混合数据库：Things3D + ChairsSDHom
  • 使用了非线性 error，为了减少大距离的 error。
    • 问题：细节在补充材料中。非线性方法是指 X^0.4，这样可以突出小的移动距离的异常
  • 但是输出的结果中噪音很大，所以需要调整网络结构
    • 删除了FlowNetS中第一层的 stride 2
    • 网络前几层 7*7 5*5的 filter 换成多个3*3，而且变得更深
    • 为了去除噪音，获得平滑的边缘，我们在反卷机过程中使用了卷机
      • 问题：如何加入？A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation.
    • 这个网络训练很慢，所以为了得到很好的训练结果，每个mini-patch使用8个数据，其中2个来自 Things3D 6个来自ChairsSDHom。
    • 这个网络称为 FlowNet2-SD
  • 与 FlowNet2-CSS-ft-sd 的融合
    • 融合网络的输入包括：image1 + flows + flow magnitudes + error in brightness after warp
    • 增加了输出的分辨率。问题：具体看补充内容
      • 这么做可以减小噪音
    • 融合后的网络称为FlowNet2
David糖
关注
专栏目录
机器学习笔记 - FlowNet：使用卷积网络学习光流
学以致用 知行合一
11-16 485
第一个 FlowNetS 获取图像 I1 和 I2 作为输入，第二个 FlowNetS 获取图像 I1、第一个 FlowNetS 计算的流 wi、流 wi 扭曲的图像 I2 以及流 wi 扭曲的图像 I1 和图像 I2 之间的亮度差误差。此外，出于计算原因，作者限制了最大位移。具体来说，对于每个位置x1，作者通过计算大小为D = 2d+1的邻域内的相关性来限制x2的范围，d是给定的最大位移。总的来说，FlowNet2.0的性能最好，而SPyNet更轻量级，参数更少，速度更快，可以在移动终端上使用。
FlowNet3D论文学习笔记
幽冥小龙的博客
06-04 3258
FlowNet3D论文学习笔记1 概述2 网络结构2.1 set conv层2.2 flow embedding层2.3 set upconv 层 1 概述 FlowNet3D 这篇文章研究场景流（scene flow）估计的问题。场景流的用处很多，诸如物体分割，动作识别，相机位姿估计（object segmentation, action recognition, camera pose est...
Flownet2.0训练过程全指导
qq_40595812的博客
04-04 9174
Windows10下运行flownet2.0有关电脑配置信息、代码和数据集电脑配置代码Flying_chairs数据集环境配置欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTe...
【Ubuntu】【FlowNet2】一文解决Ubuntu配置FlowNet2所有问题（工作站Ubuntu配置FlowNet2全过程+问题汇总)
weixin_51393908的博客
10-19 1521
工作站配置：4张3090 对应的sm类型为：sm_86(不同torch版本支持的算力类型sm_是不一样的，一般torch支持4-8个类型的sm_)后边详细阐述系统版本： Ubuntu 20.04.6 LTS （Focal Fossa长期支持版本）
FlowNet2_CSS.part01.rar
06-15
光流计算方法FlowNet2-CSS的训练文件1，非常好用的，能获得较好的结果
flownet2网络迁移笔记pytorch to mindspore（1）
dark_tea的博客
02-14 1021
flownet2网络是什么 flownet2网络是一个对光流进行深度学习的网络，flownet2实际上是在flownet的基础上对网络的结构和训练方法进行了优化。 flownet提出两种新的网络结构分别为flownetC和flownetS，其中flownetC以一对图片作为输入，先通过卷积提取一部分特征之后，然后通过correlation算子 比较两张图片中的特征。 flownet论文中分别对这两种网络结构进行训练，并且与baseline相比较，都有了较大的提升。 flownet2在 flownet的基础
FlowNet2.0论文笔记
weixin_30252709的博客
07-29 419
原论文标题：FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks 文章是对FlowNet的进一步改进，主要贡献为如下三个方面： 训练数据集的调度对于模型的性能有较大的影响。 PS：光流的数据集都比较小，一般需要几个数据集一起train，故如何使用这些数据集是至关重要的。 ...
FlowNet 2.0
surprising
11-02 761
FlowNet（也就是它的第一个版本）链接如下：FlowNet 这篇是对上一篇FlowNet的改进，可以从标题看出（Evolution 演变，演化 ）发表于CVPR2017 Motivation: FlowNet cannot compete with variational methods,particularly on small displacements and real-world ...
使用flownet2进行flow warping error的计算
celina0321的博客
03-28 2397
最近在做video inpainting相关的工作，其中的测试指标需要利用FlowNet2进行计算。为此我花费了很长时间进行环境配置和代码调试，最后发现走了很多弯路，所以记录一下~ 首先follow一些最近的video inpainting的开源代码（包括flow-based warping error的计算，下面有不清楚的地方，在这两个代码里面都能找到答案）： Free-Form-Video-Inpainting fast_blind_video_consistency 还有flownet2的开源
异常行为检测阅读笔记：Future Frame Prediction for Anomaly Detection – A New Baseline
Blssel的博客
03-21 7198
前言 之前写的博客，一直没放出来，今天亮出来晒晒太阳。 深度学习时代的无监督异常行为检测，套路都非常单一，都是用生成式网络（包括自编码器，GAN等）来重构或简单地预测帧，然后通过比较重构误差和阈值来达到判断异常与否的目的。这一篇就是一个典型，不过工作做得蛮充足，效果也不错，值得学习。 本文出自上科大（上海科技大学）高盛华老师团队。code已放，写的很不错：https://github.com/st...
flownet2的网络定义文件
07-25
flownet2官方给的网络定义文件需要经过一定的处理才可以被caffe识别使用，这里是按照博客内容修改后得到的结果，具体参考博客：https://blog.csdn.net/qq_25379821/article/details/81175158
flownet2-caffe-windows
07-25
flownet2-caffe 在windows 下的实现，修改部分，下载后替换caffe-windows官方版本的对应文件夹再编译即可使用，具体可以参考我的博客 https://blog.csdn.net/qq_25379821/article/details/81175158
flownet2-pytorch:FlowNet 2.0的Pytorch实施
04-01
flownet2-pytorch FlowNet Pytorch实现。 支持多种GPU训练，并且代码提供了有关干净数据集和最终数据集的训练或推理示例。 相同的命令可用于训练或推断其他数据集。 有关更多详细信息，请参见下文。 还支持使用fp16（半精度）进行推理。 如需更多帮助，请键入 python main.py --help 网络架构 以下是提供的不同Flownet神经网络架构。 每个网络的batchnorm版本也可用。 FlowNet2S FlowNet2C FlowNet2CS FlowNet2CSS FlowNet2SD FlowNet2 自定义图层 FlowNet2或FlowNet2C*结构依赖于自定义层Resample2d或Correlation 。 这些层与CUDA内核的pytorch实现可在 。 注意：当前，半精度内核不适用于这些层。 数据加载器 dat
FlowNet2-C_checkpoint.pth.tar
06-15
光流计算方法FlowNet2-C的训练文件，非常好用的，能获得较好的结果
FlowNet2-SD_checkpoint.pth.tar
06-15
光流计算方法FlowNet2-SD的训练文件，非常好用的，能获得较好的结果
《PWC-Net：CNNs for Optical Flow Using Pyramid,Warping,and Cost Volume》论文笔记
m_buddy的博客
07-05 1689
参考代码（official）：PWC-Net 参考代码（pytorch convert）：pytorch-pwc 1. 概述 导读：这篇文章给出了一种使用CNN网络实现光流估计的方法，在该方法中采用了经典的特征金字塔结构作为特征提取网络。之后在金字塔的某个层级上使用上一级的光流作为warp引导，第二幅图像的特征将被warp。进而使用第二幅图像warp之后的特征和第一幅图像的特征构建一个cost volume。在此基础之上，添加一个估计网络从而实现当前金字塔层的光流估计。文章的方法简单明了，在模型的体积上和
《RAFT：Recurrent All-Pairs Field Transforms for Optical Flow》论文笔记
m_buddy的博客
07-09 1727
参考代码：RAFT 1. 概述 导读：这篇文章提出了一种新的光流估计pipline，与之前介绍的PWC-Net类似其也包含特征抽取/correlation volume构建操作。在这篇文章中为了优化光流估计，首先在correlation volume的像素上进行邻域采样得到lookups特征（增强特征相关性），之后直接使用以CNN-GRU为基础的迭代优化网络，在完整尺寸上对光流估计迭代优化。这样尽管采用了迭代优化的形式，文章的迭代优化机制也比想IRR这类方法轻量化，运行速度也更快，其可以在1080 TI
flownet2的安装和测试
lyx_323的博客
03-11 1758
先来吐槽一句，简直就是坑。啥啥都不对。。。。。。。到底是吃什么的！哎，我这种小白，特别的心累 首先，官网地址，不用说了https://github.com/NVIDIA/flownet2-pytorch 我的环境；python3.6， cuda10.1 下载安装，建议利用conda单独给它一个虚拟环境，环境配置，跳转https://blog.csdn.net/lyx_323/article/details/106058440?spm=1001.2014.3001.5501 然后，启动虚拟环境。 按
FlowNet2 (PyTorch v0.3.0)环境搭建
最新发布
m0_56158145的博客
10-31 498
本文主要是对FlowNet2 (PyTorch v0.3.0)的环境搭建进行了记录，该项目的地址为https://github.com/vt-vl-lab/flownet2.pytorch
-bash: cd: flownet2-pytorch: No such file or directory
07-14
非常抱歉给您带来困扰。由于之前的误解，请按照以下步骤在Macbook上安装FlowNet2： 1. 首先，确保您的机器上已经安装了Python和pip。 2. 安装依赖项： - 运行以下命令以安装PyTorch和其他必要的Python依赖项： ``` pip install torch torchvision numpy scikit-image tensorboardX ``` 3. 克隆FlowNet2存储库： ``` git clone https://github.com/NVIDIA/flownet2-pytorch.git ``` 4. 安装FlowNet2： - 进入FlowNet2的目录： ``` cd flownet2-pytorch ``` - 运行以下命令以编译FlowNet2： ``` bash install.sh ``` 5. 运行FlowNet2： - 使用您的图像进行光流估计： ``` python main.py --inference --model FlowNet2 --save_flow --inference_dir <输入图像目录> --resume <预训练模型路径> ``` - 请确保将 `<输入图像目录>` 替换为包含您要进行光流估计的图像的实际目录，并将 `<预训练模型路径>` 替换为您想要使用的预训练模型的路径。 非常抱歉之前给您带来的困惑。希望这次能帮到您！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值