【论文笔记】Video2Vec: Learning Semantic Spatial-Temporal Embeddings for Video Representation

最新推荐文章于 2022-11-16 20:20:47 发布
最新推荐文章于 2022-11-16 20:20:47 发布
阅读量2.6k 收藏 4
点赞数
分类专栏： 论文笔记 视觉语义 文章标签： 深度学习 语义分析 视频识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21190081/article/details/61920253
版权
本文介绍了Video2Vec技术，通过结合CNN、GRU和word2vec，学习视频的语义和时空信息嵌入。该方法在UCF-101数据集上用于动作识别、zero-shot分类和视频检索，表现优秀。
摘要由CSDN通过智能技术生成

摘要翻译

这篇论文我们提出了一种视频片段的语义和时空信息嵌入(embedding)方法。视频作为语义连续的时序列帧，我们借助视频的这个特点来表达视频的高层特征（备注，视频和图像的高层特征通常就是指understanding层面）。我们的网络提取CNN的特征并且训练了两个学习视频的文本信息地独立GRU编码器，此外我们还把视频的彩色图像序列和光流序列嵌入到相同尺寸的表征向量(representation)。之后，训练一个多层感知机(MLP)把图像序列的表征向量和word2vec语义文本向量嵌入到一起。我们通过几个任务表面我们的方法可以很好的表达视频的时空和语义信息，这些任务包括动作识别、zero-shot分类和”word-to-video”的检索任务，以上任务都是在UCF-101视频数据集上实现的。

网络框架

这里写图片描述
一图知全文系列，简单概括下这个网络：

  • 视频预处理：将一个视频片段预处理为原始的视频帧序列和光流帧序列，然后作为网络的两个输入端口
  • 提取图像空间特征：利用CNN网络分别提取两个视频流的图像空间特征，根据论文中提到的，使用的CNN是预训练的VGG-f网络
  • 提取视频时序特征：将上一步提取的两个特征张量分别放到两个GRU网络中去提取时序特征，得到两个特征向量
  • 用MLP进行embedding训练：将上一步提取的两个特征向量合并作为MLP的输入，然后训练embedding。

特别说明最后MLP输出的loss函数由两部分组成，分别是语义损失( E

最低0.47元/天 解锁文章
迷川浩浩_ZJU
关注
专栏目录
Video-text Matching:Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval
csdn_tclz的博客
11-22 519
背景 用于跨模态检索的多义词的视觉语义嵌入，论文被CVPR2019接收 摘要 visual-semantic embedding的目标是找到一个公共空间，在这个空间中相关的视觉和文本彼此之间比较接近。当前大多数方法都学习将实例映射到共享空间中单个点的内嵌式嵌入函数（映射是一对一的）。不幸的是，内射式嵌入不能有效地处理具有多种可能含义的多义词实例。最好情况下，它只能找到不同含义的平均的表达。 在这项工作中，作者提出了多义词实例嵌入网络（PIE-Nets），通过利用自注意力机制和 residual 学习，将局部
推荐系统——Item2vec
weixin_44023658的博客
06-03 5160
一、背景 推荐系统中，传统的CF算法都是利用 item2item 关系计算商品间相似性。i2i数据在业界的推荐系统中起着非常重要的作用。传统的i2i的主要计算方法分两类，memory-based和model-based。 本文主要介绍了microsoft和airbnb两大公司如何将embedding技术应用于推荐／搜索业务。实践证明，embedding技术对于工业场景来说有着很大的价值和应用前景。 首先先了解一下word2vec,不太清楚朋友可以转补到 NLP–Word2Vec详解 二. Item Embe
Video Representation Learning Using Discriminative Pooling 阅读
eglxiang的博客
08-14 445
It enables MIL into the hinge loss. 他们觉得有些问题，时序不那么重要，pooling本身也不够discriminative，但是可以改进。怎么改，改loss I suspect if the proposed SVM pooling methods work for complex backgrounds, say, dynamic scenes. ...
Uniformer: Unified Transformer for Efficient Spatial-Temporal Representation Learning
最新发布
qq_42208244的博客
11-16 1592
transformer and CNN
ST-GSP: Spatial-Temporal Global Semantic Representation Learning for Urban Flow Prediction(2022WSDM)
小蚂蚁与大象
06-21 470
城市流预测对于公共交通管理和智慧城市建设具有重要的意义。虽然以往的研究在一定程度上对时空信息进行了整合，但这些模型在时间维度上缺乏对全局信息和位置信息的考虑，主要表现在三个方面:1)模型没有考虑时间轴的相对位置信息，导致flow maps 的位置特征没有得到有效学习。b)忽略了不同尺度的时间相关性，导致全局信息表示不准确。c)这些模型只预测时间序列末尾的flow maps ，在此之前没有预测更多的flow maps ，导致在学习过程中忽略了部分时间特征。为了解决这一问题，本文提出了一种新的城市流预测模型——
Anticipating Visual Representations from Unlabeled Video
cv_family_z的博客
08-01 1288
CVPR 2016 Anticipating Visual Representations from Unlabeled Videohttp://www.guokr.com/article/441589/预测未来？ 本文使用CNN网络，通过学习大量未标记视频数据，来预测未来发生的事情。虽然效果不完美，但是方向还是很吸引人的，相信不远的将来该方向会有更大的进步。本文的网络结构如下： 因为未来具有多
原创 | 假期必读：一文看尽2019-2020各大顶会GNN论文（附链接）
数据派THU
01-20 2861
纵观2019年包括深度学习、计算机视觉、文本处理以及数据挖掘在内的顶级会议，图学习相关的论文较于之前都有十分明显的增长。而就 2020的情况来看，这个趋势还在不断扩大。总之，Graph ...
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
vectorhub：矢量集线器-易于发现的库，可使用最新模型将数据转换为矢量。 （text2vec，image2vec，video2vec，graph2vec，bert，inception等）
02-06
Vector Hub是一个用于发布，发现和使用最新模型以将数据转换为向量的库。 （Text2Vec，Image2Vec，Video2Vec，Face2Vec，Bert2Vec，Inception2Vec，Code2Vec，LegalBert2Vec等） 有很多方法可以从数据中提取向量。 该库旨在以简单的方式引入所有最新模型，从而轻松地对数据进行矢量化处理。 Vector Hub提供： 从业人员进入门槛低（使用常用方法） 用3行代码向量化丰富和复杂的数据类型，例如：文本，图像，音频等 检索并找到有关模型的信息 一种轻松处理不同模型的依赖关系的简便方法 安装和编码的通用格式（使用简单的en
Feature Space Optimization for Semantic Video Segmentation
01-02
We present an approach to long-range spatio-temporal regularization in semantic video segmentation. Temporal regularization in video is challenging because both the camera and the scene may be in motion. Thus Euclidean distance in the space-time volume is not a good proxy for correspondence. We optimize the mapping of pixels to a Euclidean feature space so as to minimize distances between corresponding points. Structured prediction is performed by a dense CRF that operates on the optimized features. Experimental results demonstrate that the presented approach increases the accuracy and temporal consistency of semantic video segmentation.
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
《FEELVOS：Fast End-to-End Embedding Learning for Video Object Segmentation》论文笔记
m_buddy的博客
03-28 532
参考代码：feelvos 1. 概述 导读：现有一些经典的视频分割算法都是比较复杂的，很依赖于在第一帧上进行finetune，并且运算的速度也是很慢的，这就严重限制了其实际使用。针对这些问题文章提出了一种并不依赖于finetune的简单快速方法FEELVOS，这个方法中首先利用利用特征图上逐像素的embedding（参考Pixel-Wise Metric Learning，用于相关性分析），之后...
(CVPR 2021)Self-supervised Video Representation Learning by Context and MotionDecoupling
wenniebear的博客
08-16 631
目前video understanding 中存在一个context bias的一个问题，即网络判断动作的时候并不是根据动作motion信息判断，而是根据context 静态场景判断。故本文提出了一个pretext task，直接使用compressed video中的key frame 和motion vector来进行对比学习，以此摆脱context bias这个问题。任务有两部分，context matching 和motion prediction两部分。 主要框架： ...
论文阅读：(CVPR 2022) Motion-Adjustable Neural Implicit Video Representation
mqy19960330的博客
06-21 1001
CVPR 2022 Motion-Adjustabe Neural Implicit Video Representation
论文阅读 | LEARNING VIDEO REPRESENTATIONS USING CONTRASTIVE BIDIRECTIONAL TRANSFORMER
Winne
02-06 2280
1. 论文链接：https://arxiv.org/abs/1906.05743 2. 论文分类：自监督，视频语言特征联合学习 3. 论文目的：利用BERT和对比学习算法学习视频特征 4. 论文算法： 主要过程：先分别将视频和语音文本输入到CBT和BERT中，得到序列特征（因为先用了两个独立的stream来处理两个序列，所以不需要像VideoBERT那样额外对视频序列进行量化，而是通过两个stream都将序列变成连续特征），然后将两个序列特征拼接在一起经过一个cross-modal CBT。其中CBT模型
论文阅读：Self-Supervised Video Representation Learning With Odd-One-Out Networks
qq_36627158的博客
05-27 851
目录 Contributions Method 1、Model 2、Three sampling strategies. 3、Video frame encoding. Results More Reference to Follow 论文名称：Self-Supervised Video Representation Learning With Odd-One-Out Networks（2017 CVPR） 论文作者：Basura Fernando, Hakan Bilen, ..
论文阅读：Self-supervised Video Representation Learning with Cross-Stream Prototypical Contrasting
qq_37246721的博客
02-12 2114
题目：Self-supervised Video Representation Learning with Cross-Stream Prototypical Contrasting 作者：Martine Toering 一、研究背景 传统的自监督对比学习不适用于视频： 实例级的对比学习取得了很大进展，但是由于操作是用于经过增强的实例集上的，所以并不适用于探索视频的丰富动态结构。视频本身提供的数据增强，如：视角变化，光线，形变，运动等，却没有被充分利用。 传统对比学习忽视了实例间的语义相似性： 在负样本对
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值