ECCV2020 | TVC dataset: TV Show Caption

最新推荐文章于 2023-04-30 19:32:20 发布
最新推荐文章于 2023-04-30 19:32:20 发布
阅读量672 收藏
点赞数
分类专栏： 阅读笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40711769/article/details/110130842
版权
TVC数据集源自ECCV 2020上的TVR研究，包含来自6部电视节目的21.8K视频，与之配对的有262K条字幕和108K个时刻。该数据集的训练、验证和测试集比例分别为80%，10%，5%。模型使用MMT，结合ResNet-152 + I3D的视觉特征和300D word embedding的文本特征。在验证和测试集中，每个时刻有4个相同内容的描述，而非密集视频字幕。HERO模型在TVC上展示了优越性能。
摘要由CSDN通过智能技术生成

TVC: TV Show Caption

链接

  • Paper TVR: A Large-Scale Dataset for Video-Subtitle Moment Retrieval

    • ECCV 2020 首先提出TVR，在此基础上拓展了TVC数据集

    • 北卡罗来纳大学教堂山分校

    • dataset

  • Leaderboard 目前有一篇文章打榜

    • [1] HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training. EMNLP 2020 在TVC上验证了自己提出的编码器HERO（分层结构编码多模态输入），连接2层的Transformer后，比TVCdataset的baseline提升4.6%的CIDEr

  • github

数据集介绍

  • 21.8K videos from 6 TV shows, 262K captions paired with 108K moments

    • 80% train 10%

最低0.47元/天 解锁文章
yyyyyyyyXu
关注
专栏目录
ECCV 2020 论文大盘点-图像与视频检索篇
我爱计算机视觉
10-19 1877
本文盘点ECCV 2020中检索类任务相关论文：包括图像与视频检索、形状检索等。总计18篇。下载包含这些论文的 ECCV 2020 所有论文：ECCV 2020 论文合集下载，分类盘点进...
视频压缩和分析方面数据集 Tencent Video Dataset (TVD)
mqy19960330的博客
06-11 1535
Tencent Video Dataset
ECCV 2020 VIPriors workshop 数据集和模型
AI扑社
06-19 730
我们直播分享的是：ECCV 2020 VIPriors workshop ：https://vipriors.github.io/challenges/目标检测赛道 直播公开课信息: ECCV 2020 VIPriors workshop ：https://vipriors.github.io/challenges/ 6月9号直播回看地址:https://live.csdn.net/room/sinat_15603323/eapr9HfG 6月11号直播回看地址:https://live....
终极盘点：计算机视觉资源汇总：CVPR、ECCV、ICCV、ECCV、AAAI、ICML等顶会论文汇总解读 / 代码下载（1987-2020）、技术视频、数据集等
极市平台的技术博客
12-25 2404
（一）计算机视觉顶会资源合集 此汇总不仅包含最新的CVPR/ECCV2020论文分方向整理，还有历年的CVPR、ECCV、ICCV、ECCV、AAAI、ICML等多个顶会以及Valse等技术大会的各类资源。 CVPR2020 最全整理：论文分类/汇总/下载 / 代码 / 项目 / 论文解读 CVPR2019 | 论文分类汇总/下载 / 代码 / 项目 / 论文解读 CVPR 2018 论文解读集锦 CVPR 2017 论文解读集锦 2000-2020 年历届 CVPR 最佳论文汇总 ECCV2020 最全
Video Corpus Moment Retrieval实验设置记录
YasmineC的博客
04-13 411
2019-arXiv-Temporal Localization of Moments in Video Collections with Natural Language 数据集：DiDeMo, Charades-STA, and ActivityNetcaptions. 评价标准：R@KR@KR@K, K∈{1,10,100}K\in \{1, 10, 100\}K∈{1,10,100}, IoU∈{0.5,0.7}IoU \in \{0.5, 0.7\}IoU∈{0.5,0.7} & 正确检索
eccv2020_paperlist:我的论文摘要
03-21
eccv2020_paperlist 图像识别 口服 具有随机特征采样和插值的空间自适应推理 论文： : 概括： MutualNet：通过相互学习从网络宽度和分辨率进行自适应的ConvNet 论文： : 概括： 代码： ： 开放集识别的混合模型 ...
ECCV2020-代码：ECCV 2020论文开源项目合集，同时欢迎各位大佬提交问题，分享ECCV 2020开放项目
02-04
这个压缩包“ECCV2020-Code-master”很可能是包含了ECCV 2020会议上发表的部分论文的开源代码，为研究者和实践者提供了深入了解和复现这些先进算法的机会。 1. 计算机视觉：计算机视觉是一门多学科交叉的科学，旨在...
matlab图像膨胀代码-LNE_IMGM:ECCV2020论文的实现：LayeredNeighborhoodExpansionforIncr
06-08
ECCV 2018. LNE IMGM Zixuan Chen, Zhihui Xie, Junchi Yan, Yinqiang Zheng, Xiaokang Yang, Layered Neighborhood Expansion for Incremental Multiple Graph Matching , ECCV 2020. 问题设置 在这个与我们的 ECCV...
Awesome-ECCV2020-Low-Level-Vision:ECCV2020低水平视觉或图像重建的论文和代码的集合
03-20
真棒-ECCV2020-低级别视觉 ECCV2020低水平视觉或图像重建的论文和代码的集合 相关的一些论文，包括超分辨率，图像恢复，去雨，去雾，去模糊，去噪等方向。大家如果觉得有帮助，欢迎星~~ 2020年ECCV（欧洲计算机...
视觉定位领域专栏（二）常用数据集介绍
最新发布
CV技术指南（微信公众号）
04-30 995
这是一个专门针对AR/VR应用的数据集，数据集的采集是使用带有定制的原始传感器记录应用程序的Microsoft HoloLens 2和Apple iPad Pro设备收集数据，10名参与者每人获得一台设备，并被要求在一个共同的指定区域行走，即在环境中自由行走、参观、检查和四处寻找，由此产生了不同的相机高度和运动模式，他们的轨迹没有任何计划或限制，在长达一年的时间里，参与者在白天和晚上的不同时间点访问每个地点。数据集是在12个月的时间里采集的，覆盖了伦敦帝国理工学院周围1.2公里的街道。
VMR-21论文总结
YasmineC的博客
02-27 504
2021-ACL-MTVR: Multilingual Moment Retrieval in Videos 这篇文章在TVR数据集的基础上扩展了mTVR数据集，增加了中文的query和subtitle标注；也在XML模型的基础上扩展了mXML模型，使用了参数共享和领域限制方式，让两种语言共同学习、共同获益。 一次定位中的基于概率的方法 暂时不太明白邻域限制的含义。 2021-CVPR-Interventional Video Grounding with Dual Contrastive Learni
2:VX2TEXT基于多模态输入的视频文本生成的端到端
qq_41887799的博客
01-15 1976
1.网络大致架构 原始名称为End-to-End Learning of Video-Based Text Generation From Multimodal Inputs 这个框架可以帮助我们，从视频、音频等输入内容中提取信息，再以人类可以理解的文字，生成字幕或者回答问题等。 直接贴图：给定相应需要实现的任务，比如说QA，以及捕捉要素的任务。根据视频形成Video Backbone，后根据每个视频词汇表不同的Distribution进行分类。对于语音来说的话，同理形成Audio Backbone
HERO: Hierarchical Encoder for Video+LanguageOmni-representation Pre-training(未完)
learning5201的博客
10-27 730
Abstract 我们提出了 HERO，一种用于大规模视频 + 语言全方位表示学习的新框架。 HERO 在分层结构中编码多模态输入，其中视频帧的局部上下文由跨模态转换器通过多模态融合捕获，全局视频上下文由时间转换器捕获。除了标准的掩码语言建模 (MLM) 和掩码帧建模 (MFM) 目标之外，我们还设计了两个新的预训练任务：(i) 视频字幕匹配 (VSM)，其中模型预测全局和局部时间对齐； (ii) Frame OrderModeling (FOM)，其中模型预测打乱视频帧的正确顺序。HERO 在 HowTo
杂七杂八数据集
zsf2951186806的博客
07-31 1774
Careful Selection of Knowledge to solve Open Book Question Answering 标题：精心选择知识解决开卷问答 作者： Pratyay Banerjee, Chitta Baral 备注：Accepted to ACL 2019 链接：https://arxiv.org/abs/1907.10738 构建开卷问答数据集 感觉扩充了...
聚焦视频文本检索：一文概览视频文本检索任务最新研究进展
Paper weekly
01-05 4546
©PaperWeekly 原创 · 作者 | 小马单位 | FightingCV公众号运营者研究方向 | 计算机视觉写在前面近几年，随着抖音、快手等短视频平台，以及哔哩哔哩、优酷等视频平台...
视频预训练模型总结
PETERPARKERRR的博客
03-24 4518
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录vilbert (2019年)HeroUni-Perceiver(2021年)Data2vec(2022年)一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 vilbert (2019年) 论文题目：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 结构：一个双流多模态模型.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值