视频语义分割—降低视频冗余计算量deep feature flow

最新推荐文章于 2022-04-11 16:52:55 发布
最新推荐文章于 2022-04-11 16:52:55 发布
阅读量1k 收藏 4
点赞数
分类专栏： Video_Analysis 文章标签： video
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shitDjango/article/details/88969260
版权
本文介绍了Deep Feature Flow在视频识别中的应用，通过选取关键帧并计算帧间流来减少深度特征计算成本。该方法能有效降低视频处理的计算量，提高效率。实验结果显示，该技术在亚马逊MXnet框架下取得良好效果，尤其适用于短视频级别的目标检测。
摘要由CSDN通过智能技术生成

deep feature flow for video recognition 深度特征流
论文：https://arxiv.org/pdf/1611.07715.pdf
项目地址： Deep-Feature-Flow

出发点是在视频中的深度特征的帧间差异比较小，而对于每一帧获取其深度特征的时间和计算的成本十分大，考虑将前特征跨越到当前帧。
1 选取一个Key frame(计算关键帧通过特征提取子网络N-feat获取的深度特征)
2 对于current frame(当前帧的深度特征)计算与key frame之间的F(Flow)
3 用F将关键帧在识别子网络N-task的结果传播至当前帧得到结果，并反向传播loss
【关键帧】关键帧的固定选取，每隔K个帧选取一帧作为Key frame
在这里插入图片描述
算法流程
在这里插入图片描述
Result——亚马逊MXnet框架
在这里插入图片描述
目标检测效果（个人认为适用于短视频级别&

最低0.47元/天 解锁文章
oneDjango
关注
专栏目录
deep feature flow
yychentracy的博客
11-11 866
因为如果将图片识别的网络直接引入视频中的帧，就会发现计算量就会很大 作者提出的这个网络利用的是 1，fowl estimetion，feature propagation，比一般的卷积计算速度快很多 2，在空间上找一个关键帧做图像识别，然后将 deep feature map 从关键帧传到其他的帧，通过光流网络。并且这两帧是很相似的，所以传递过来的特征与原始特征很相似。 2.并且整个结构是end ...
视频语义分割介绍
SIGAI_CSDN的博客
12-10 8787
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 摘要： 随着深度学习的发展，图像语义分割任务取得了很大的突破，然而视频语义分割仍然是一个十分具有挑战性的任务，本文将会介绍视频语义分割最近几年顶会上的一些工作。 1、基本任务介绍： 语义分割任务要求给图像上的每...
【数据集】——视频语义分割数据集VSPW
怡宝2号
04-11 1530
数据集, vspw 转载自:https://zhuanlan.zhihu.com/p/362869070 1. 简介 视频语义分割是计算机视觉领域的一个重要任务，而目前仍缺少大规模的数据集。之前用作视频语义分割的数据集，Cityscapes，NYUv2，CamVid，均有各自的局限性。比如，Cityscapes 和 CamVid仅关注单一场景（街道场景）；Cityscapes，NYUv2 没有时序的标注，仅仅标注一个视频的某一帧，严格来说是图片数据集而非视频分割数据集；CamVid规模很小，仅有6个标注.
视频语义分割
WX_Chen的博客
12-14 5720
图像语义分割任务取得了很大的突破，然而视频语义分割仍然是一个十分具有挑战性的任务 视频语义分割主要研究的重点大致有两个方向：第一个是如何利用视频帧之间的时序信息来提高图像分割的精度，第二个是如何利用帧之间的相似性来减少模型计算量，提高模型的运行速度和吞吐量。 任务的评估指标和图像语义分割相同均为mIOU(mean Intersection-over-Union) 目前主流的数据集是Cityscape, Cityscape 数据集是目前主流的基于自动驾驶场景的语义分割的数据集，此外还有部分文章还使用了Ca
Low-Latency Video Semantic Segmentation (CVPR 2018)
m0_38070103的博客
03-15 1306
Low-Latency Video Semantic Segmentation (CVPR 2018) 本文目标任务：视频语义分割，论文地址 原创文章， 转载请注明出处！！ 同样从[1]改进而来，仍然采取key frame和current frame的思路，主要思路为比较两帧的底层特征的差异，若差异较大，则按部就班地产生最后的结果；若差异较小，则采取一种创新性的方法根据关键帧的top featu...
视频语义分割笔记
qianchenkun的博客
09-17 2952
video semantic segmentation 一、Deep Feature Flow for Video Recognition（2017） 提出问题：快速准确的视频识别对于自动驾驶和视频监控等高价值场景至关重要。 然而，将现有的图像识别网络应用于单个视频帧会导致大多数应用无法承受的计算成本。 解决问题：在这项工作中，我们介绍了深度特征流，这是一种快速准确的视频识别方法。 它在稀疏关键帧上应用图像识别网络。 它通过光流将深度特征图从关键帧传播到其他帧。 使用方法：光流法 整体网络训练策略： 1)
基于时间分布的快速视频语义分割
1(ms/f）基于时间分布网络的快速视频语义分割胡平1，法比安·卡巴·海尔布隆2，奥利弗·王2，林哲2，斯坦·斯克拉罗夫1，费德里科·佩拉兹21波士顿大学2Adobe研究摘要我们提出了TDNet，一个时间分布的网络设计的快速...
论文翻译--Deep Feature Flow for Video Recognition （继续更新中）
weixin_45032769的博客
03-10 759
Abstract 深度卷积神经网络在图像识别方面取得了很大的成功。然而，将最先进的图像识别网络转换成视频并非易事，因为每帧的评估速度太慢，而且负担不起。提出了一种基于深度特征流的快速、准确的视频识别框架。它只在稀疏关键帧上运行繁琐的卷积子网络，并通过流场将它们的深度特征映射传播到其他帧。由于流计算速度相对较快，因此实现了显著的加速。整个体系结构的端到端训练显著提高了识别精度。深度特征流具有灵活性和...
多尺度高分辨率视觉Transformer用于语义分割的研究及应用
120940多尺度高分辨率视觉Transformer用于语义分割0Jiaqi Gu 1 * , Hyoukjun Kwon 2 , Dilin Wang 2 , Wei Ye 2 , Meng Li 2 , Yu-Hsin Chen 2 , Liangzhen Lai 2 , VikasChandra 2 ...
视频行为识别检测综述 IDT TSN CNN-LSTM C3D CDC R-C3D
热门推荐
万有文的博客
06-20 14万+
本文github地址 Video Analysis之Action Recognition(行为识别) 行为识别就是对时域预先分割好的序列判定其所属行为动作的类型，即“读懂行为”。 [行为检测|论文解读]行为检测调研综述 较新 基于Deep Learning 的视频识别技术 科研成果—-中国科学院深圳先进技术研究院 面向人体姿态行为理解的深度学习方法 CVPR 2014 Tut...
Python-用于视频识别DeepFeatureFlow
08-09
它为视频识别（例如，视频中的对象检测和语义分割）提供了一个简单，快速，准确和端到端的框架
Deep Feature Flow -CVPR 2017
啦啦头头
04-15 3831
Video Detection and Segmentation这是一篇很有想法（novel）的工作，尤其是在video领域，作者是来自MSRA的Xizhou Zhu 和DaiJifeng，他们的一系列工作我将在本博客中给予更多介绍，这次介绍的是他们的工作：deep feature flow Deep Feature FlowDeep feature flow 正如其名，它是用了deep feat...
【视频语义分割】——Semantic Video CNNs through Representation Warping，ICCV2017
怡宝2号
09-14 732
视频语义分割 code 1. 原理 转载自:https://zhuanlan.zhihu.com/p/52014957 图3 模型结构 这篇文章提出了一个叫做Netwarp的结构，它的主要作用是利用光流把前一帧的特征搬移到当前帧，进而起到一定程度上特征增强的作用，其中光流定义为两张图像之间对应像素移动的向量，这个结构可以插入到video 的帧与帧之间（如图3所示）。 图4 Netwarp模块 模块的具体操作如图4所示，模型的输入是两张连续的帧，(t-1)代表前一帧，t代表当前帧，第一步是计算两帧.
视频语义分割-了解
这些个事儿
04-06 6227
转自：https://www.jianshu.com/p/1568e0d51912?utm_source=oschina-app 相比于图像语义分割，视频语义分割具有高帧数（15-30帧/s），前后帧之间高相关性的特点。并且在自动驾驶任务中，对RGB摄像头传入的视频帧信号处理具有很高的实时性要求，因此针对视频语义分割任务来讲，需要在图像语义分割的任务上做进一步的工作。 如何有效利用视频帧之间...
Deep Feature Flow for Video Recognition 安装
yhmzfy的专栏
08-10 1323
安装github一步步来，但是安装mxnet从官网安装 1、$git clone https://github.com/msracver/Deep-Feature-Flow.git 2、ubuntu系统下 For Linux user, run sh ./init.sh. The scripts will build cython module automatically and creat
视频语义分割（Video semantic segmentation）调研
不怕做不到，就怕想不到
04-14 9471
概述 背景及应用 最新进展与其代码实现 公开课 数据集与Benchmark 概述 本文主要调研基于视频的语义分割，主要是对一些公开学习资源的整理，方便按步骤详细学习，调研主要分为以下几个方面：背景及应用 、最新进展以及代码实现、 背景及应用 目前基于图像的语义分割已经可以做到非常好，但是面对单帧观测不好，遮挡，运动模糊，光照不好等情况效果不好，而实际机器人在环境中...
【待更新】感知视频编码中的感知检测技术（显著性物体检测向）
video coding
08-13 2319
显著检测分类 显著物体检测
Flow -Guided feature Aggregation for video object detection
yychentracy的博客
11-12 1431
这篇文章是对之前的deep-featureflow的一个延续，利用了前后帧的信息来加强当前帧的特征，从而得到较好的识别度，但是速度上回很慢。 基于流引导的特征聚合，端到端的学习框架，利用时间一致性，沿着运动轨迹聚合附近的帧，来提高每一帧的特征。这种方法对于strong single-frame baselines in ImageNet VID 有很大的改进，并且对于快速移动的物体效果显著。 1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值