ECCV2018 ｜ Move forward and tell: A progressive generator of video descriptions

于 2020-11-25 22:37:33 发布
阅读量242 收藏
点赞数
分类专栏： 阅读笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40711769/article/details/110149526
版权
本文提出了一种用于Dense Video Captioning的渐进式生成方法，旨在提高描述的连贯性和减少冗余。通过结合事件定位、事件选择和描述生成三个模块，解决了以往方法存在的问题。事件选择模块利用LSTM避免了文本重复，描述生成模块则利用前一事件的信息确保句子间的连贯性。在ActivityNet Captions数据集上的实验表明，该方法在减少重复性方面表现优秀。
摘要由CSDN通过智能技术生成

文章

  • Move forward and tell: A progressive generator of video descriptions
  • ECCV 2018
  • 港中文 林达华
  • 动机：使用强化学习解决Dense Video Captioning问题，数据集ActivityNet Captions
    • 以前的方法缺乏语句之前的依赖，所以连贯性差
    • 以前的方法缺乏文本和视觉之间的对齐，所以重复、冗余

评估caption的三个目的

  • relevant 相关的 文本和视频之间的对齐
  • coherent 连贯一致的 文本层面的逻辑一致和连贯性
  • concise 简洁的 句子之间没有重复冗余

方案：三个模块

在这里插入图片描述

  • event localization

    • Temporal action detection with structured segment networks. ICCV 2017
    • 使用别人现成的开源代码 还可以顺便计算关键帧

  • event selection
    在这里插入图片描述

    • LSTM实现。挑选独立事件，且与之前的事件
最低0.47元/天 解锁文章
yyyyyyyyXu
关注
专栏目录
Tensorflow实现：图像描述---Show and Tell: A Neural Image Caption Generator
Laurenitum0716的博客
02-24 1万+
Tensorflow实现：图像描述—Show and Tell: A Neural Image Caption Generator Introduction Image Caption是一个融合计算机视觉、自然语言处理和机器学习的综合问题，它类似于翻译一副图片为一段描述文字。该任务对于人类来说非常容易，但是对于机器却非常具有挑战性，它不仅需要利用模型去理解图片的内容并且还需要用自然语言去...
ECCV2018比较有意思的paper
Hello World
09-25 2335
Double JPEG Detection in Mixed JPEG Quality Factors using Deep Convolutional Neural Network Fighting Fake News: Image Splice Detection via Learned Self-Consistency Face De-Spoofing: Anti-Spoofing vi...
视频描述（Video Caption）近年重要论文总结
jinchengll的博客
03-18 5021
视频描述（Video Caption）近年重要论文总结 视频描述 顾名思义视频描述是计算机对视频生成一段描述，如图所示，这张图片选取了一段视频的两帧，针对它的描述是"A man is doing stunts on his bike"，这对在线的视频的检索等有很大帮助。近几年图像描述的发展也让人们思考对视频生成描述，但不同于图像这种静态的空间信息，视频除了空间信息还包括时序信息，同时还有声音信息，...
ECCV 2018 完整论文集 -- List & 下载链接
热门推荐
TomRen
09-02 1万+
下文列表为ECCV2018官网得到了今年接收论文列表，共779篇： 持续更新下载链接 Oral: Convolutional Networks with Adaptive Computation Graphs Progressive Neural Architecture Search Diverse Image-to-Image Translation via Dise...
ECCV2018 | PKT_概率知识蒸馏
yuanCruise
03-20 2604
ECCV2018 | Learning Deep Representations with Probabilistic Knowledge Transfer https://github.com/passalis/probabilistic_kt 1.传统知识蒸馏 最早的知识蒸馏方法专门针对分类任务进行设计，它们不能有效地用于其他特征学习的任务。 在本文中，作者提出了一种通过匹配数据在特征空间中的...
ECCV 2018 | Pixel2Mesh：从单帧RGB图像生成三维网格模型
Paper weekly
09-10 2532
腾讯 AI Lab 与复旦大学、普林斯顿大学、Intel Labs 合作提出一种端对端的深度学习框架，可从单张彩色图片直接生成三维网格（3d mesh)。该研究论文被顶级...
Computer Vision ECCV2018 Workshop partII
05-20
Computer Vision – ECCV 2018 Workshops，Munich, Germany, September 8-14, 2018, Proceedings, Part II。 计算机视觉国际顶级期刊，2018年，第二部分。
Quaternion Knowledge Graph Embeddings
零食的csdn博客
03-14 2295
Quaternion Knowledge Graph Embeddings. NeurIPS 2019. https://github.com/cheungdaven/QuatE 摘要 在这篇文章中，我们越过传统的复杂值表示方法，介绍了超复杂表示方法以对知识图嵌入式的实体和关系进行建模表征。更具体地，我们使用一种超参数值表征的嵌入式方法，具有三个虚部的四元数嵌入式，对实体进行表征。所提出方法的优越...
Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real env
零食的csdn博客
03-04 1888
Introduction 来自 澳大利亚阿德莱德大学，Vision-and-Language Navigation(VLN) 的一篇工作，发表在CVPR 2018。 项目主页：地址 个人主页：地址 仿真器开源：地址 Motivation 提出了Matterport3D Simulator，一个基于真实场景图的大规模强化学习环境。和之前的合成的强化学习环境相比，真实图像的环境更加具有视觉和语义...
Grounded video description
零食的csdn博客
03-19 1675
Introduction Grounded video description. CVPR, 2019. 这篇文章的主要贡献在于提出了新的密集事件描述ActivityNet Entities数据集，在Activity Captions的基础上，添加了captions中NP名词短语与视频中的物体的对齐。 由于源数据集中数据量过大，因此采用了稀疏标注的方法，对每个视频切割出segment，在每个s...
Unsupervised Generative Adversarial Cross-modal Hashing
零食的csdn博客
02-25 1570
Unsupervised Generative Adversarial Cross-modal Hashing, AAAI 2018 Motivation Cross-modal hashing 跨模态哈希问题，致力于将各种模态的数据放到一个公共哈希空间中，以更简洁快速地计对跨模态数据进行表达和计算、检索。非监督的方法相比较监督的方法更不用受到初始条件的约束，因此更灵活。但是现存的非监督的方法在计...
Streamlined Dense Video Captioning
零食的csdn博客
03-03 1204
Task 这篇文章是解决video caption的一个分支dense video caption(DVC)的一个任务，即在一段长视频中找出events，对每个event生成一句caption。 Motivation DVC任务是2017年CVPR（Dense-Captioning Events in Videos）提出的，近两年的解决方法都是两步走：proposal和caption，主要的解...
Self-monitoring navigation agent via auxiliary progress estimation
零食的csdn博客
03-09 1133
Self-monitoring navigation agent via auxiliary progress estimation，ICLR，2019. 摘要 VLN任务即一个智能体在真实的未知环境中按照导航指令进行移动。这个具有挑战性的任务要求智能体识别哪些指令已经完成，哪个指令在下一步需要关注，哪条路要走，以及导航距离终点的进程情况。在这篇文章中，我们介绍了self-monitoring智...
Multi-label learning with missing labels using mixed dependency graphs
零食的csdn博客
02-27 996
任务 multi-label learning with missing labels(MLML) 用训练集中实体的多类别标签对测试试题进行标注，但训练集中有些标签是丢失的 关键点 通过标签之间依赖关系构成的依赖图，将已知信息传递/预测丢失标签信息。 依赖图中的directed边是语义标签信息，undirected边是实例级别的相似程度。 Base graph是包括directed和undi...
ACL20｜MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
零食的csdn博客
11-05 923
背景 腾讯AI Lab主导，与美国北卡罗来纳大学教堂山分校（UNC）合作完成。提出了一种增强视频描述生成的连贯性的循环Transformer结构MART，使用记忆存储单元增强transformer架构，实现递归模型。这个记忆存储单元从视频片段和句子历史记录，生成高度汇总的记忆state，帮助预测。实验证明，MART可以产生更连贯、没有重复、具有相关性的文本。 paper：https://www.aclweb.org/anthology/2020.acl-main.233.pdf github：https:
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigatio
零食的csdn博客
03-08 859
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation. CVPR,2019 摘要 Vision-language navigation（VLN）任务是一项令一个在真实3D环境中的智能体按照给定的自然语言指令进行导航移动的任务。在这篇文章中，我们研究...
Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks
零食的csdn博客
03-12 804
Introduction Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks. CVPR, 2019. 摘要 Vision-Language Navigation(VLN)任务是智能体在自然语言指令下学习如何在环境中进行导航的任务。这个任务的关键在于序列地感知视觉和文本。传统的方法利用跨模态gr...
Visual saliency detection based on multiscale deep cnn features
零食的csdn博客
02-28 684
Task 视觉显著性 Visual Saliency（这篇文章2017年左右，很早了） 显著性由视觉对比产生，直观的表征了图像的某些部分与相邻区域比较更突出。 本文发现，利用CNN提取的多尺度特征具有较高视觉显著性，在视觉识别方面取得了巨大成功。因此，本文引入了一种神经网络结构，在CNN后跟着FC层，提取三种不同尺度（相互嵌套）的特征（分别是考虑区域、相邻区域和整个区域）。 另外，本文还构建了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值