TCSVT2020｜Event-centric hierarchical representation for dense video captioning

最新推荐文章于 2024-07-04 22:07:41 发布
最新推荐文章于 2024-07-04 22:07:41 发布
阅读量593 收藏
点赞数
分类专栏： 阅读笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40711769/article/details/110236904
版权
该研究提出了一种事件中心的层次化表示方法用于密集视频字幕，包括场景级、事件级和帧级的表示。通过场景级主题预测器、时间语义关系模块和事件提案网络，捕捉事件间的关联和全局场景信息。同时，引入时间语义关系模块和TL-NMS来优化事件提案和生成的字幕质量。在ActivityNet Captions和YouCook2数据集上进行了实验，验证了所提方法的有效性。
摘要由CSDN通过智能技术生成

Event-Centric Hierarchical Representation

  • Event-centric hierarchical representation for dense video captioning (TCSVT 2020)
  • 中山大学
  • github
  • 动机：Dense Video Captioning。以前的工作只关注简单的event-level context信息，忽视了event-event之间的关系以及全局场景信息。因此，本文提出了以event为中心的层次化representation，包括scene-level, event-level, frame-level。
    • scene-level: Topic Predictor
    • event-level: TSRM ( temporal-semantic relation module )
    • frame-level
    • 还提出了TL-NMS减少多余的event以提高生成captioning的质量
  • 数据集：ActivityNet Captions. YouCook2
  • 以前方法会导致逻辑的错误，因为没有注意到全局场景信息/事件之间的依赖关系(continue\end)
    在这里插入图片描述
    在这里插入图片描述
    • <
最低0.47元/天 解锁文章
yyyyyyyyXu
关注
专栏目录
IMSSRnet-TCSVT2020 Deep Stereoscopic Image Super-Resolution via Interaction Module
qq_20777119的博客
11-26 323
文章地址：https://ieeexplore.ieee.org/document/9253563/ 1、INTRODUCTION human visual system can perceive 3D effect and have a vivid visual experience [7], [8] 立体图像可以让人眼系统感知到3D效果，从而有更生动的细节信息。 telemedicine, video conferencing, and video analysis [9], [10]3D立...
TCSVT-2020-基于卷积神经网络的时空信息双向预测
BigDream123的博客
01-13 2929
本文来自TCSVT 2020的论文《Convolutional Neural Network Based Bi-Prediction Utilizing Spatial and Temporal Information in Video Coding 》 介绍 本文提出用于帧间双向加权预测的CNN，称为STCNN ，和之前工作不同的是，本文引入了空间相邻重建像素和参考帧的时间显示顺序作为额外信息，作者认为基于空域中相邻像素的高度相关性，引入当前块的空间相邻像素可以减少由块级运动补偿引起的块伪影。
COD论文笔记TCSVT_2024 Efficient Camouflaged Object Detection Network Based on Global Localization
最新发布
985小菜鸡
07-04 951
GRD 通过利用高层特征引导低层特征，过滤大量噪声，同时保留更多边缘细节，从而显著提高了伪装目标检测的精度和细致度。
读Hierarchical Modular Network for Video Captioning
hu1111222的博客
12-21 349
视频字幕的目的是根据内容生成自然语言描述，其中表示学习起着至关重要的作用。现有的方法主要是在监督学习框架内开发的，通过将生成的标题与真实文本进行逐字比较，而没有充分利用语言语义。在这项工作中，我们提出了一个分层模块化网络，在生成字幕之前从三个层次连接视频表示和语言语义。特别是，层次结构由:(I)实体层，它突出显示最有可能在标题中提到的对象。(II)谓词层，学习以高亮对象为条件的动作，由标题中的谓词监督。(III)句子级，学习全局语义表示，由整个标题监督。每一层由一个模块实现。
Hierarchical Modular Network for Video Captioning【论文阅读】
hei_hei_hei_的博客
10-26 782
Hierarchical Modular Network for Video Captioning【论文阅读】
【学习周报9.26 ~ 10.1】Hierarchical Modular Network for Video Captioning(CVPR2022)
zzPaulmn的博客
10-01 777
学习周报
2019 TCSVT之ReID：SDL: Spectrum-Disentangled Representation Learning for Visible-Infrared Person Re-id
makabaka的博客
02-27 905
SDL: Spectrum-Disentangled Representation Learning for Visible-Infrared Person Re-identificatio 当前的问题及概述： 现有的RGB-IR ReID模型侧重于通过共享特征嵌入、子空间学习或对抗性学习来弥补RGB与IR图像之间的差距。然而，这些方法并没有明确地忽略与ReID无关的频谱信息。此外，对抗性学习方法...
VGCN-PyTorch:TCSVT 2020的PyTorch实施“使用面向视口的图卷积网络进行盲全向图像质量评估”
03-20
VGCN-PyTorch 感谢您的关注。在此仓库中，我们提供了论文。 先决条件 scipy == 1.2.1 opencv_python == 4.1.0.25 numpy == 1.16.4 火炬视觉== 0.3.0 火炬== 1.1.0 ... @article{xu2020blind, titl
[ICCV2019] Co-segmentation Inspired Attention Networks for Video-based Person Re-identification
星海泛舟记
12-19 993
这篇文章提出了一种Co-Segmentation Inspired Attention模块，用于专注于视频中的人像主体，忽略背景信息的干扰。本质上这是一篇将non-local模块，或是temporal self-attention机制应用于video-reid的文章，但相较于其他应用non-local在video-reid的文章来说，它的分析较为详尽。
【点云系列】PnP-3D: A Plug-and-Play for 3D Point Clouds
weixin_43882112的博客
04-22 4230
文章目录1. 概要2. 动机3. 方法3.1 局部内容融合3.1.1 局部几何分支：3.1.2 特征内容分支：3.1.3 聚合3.1.4 代码实现3.2 全局双边正则化3.2.1 基于通道的信息 （channel-wise）3.2.2 基于点的信息 （point-wise）3.2.3 聚合3. 2. 4 代码实现4. 效果4.1 分类4.2 语义分割4.3 目标检测4.4 与现有针对任务的基准线的比对4.5 消融实验-公式4.6 消融实验-attention4.7 可视化5. 思考 最近终于有时间看看论文了
IEEE TCSVT H.264 SVC 专刊合集1
07-03
IEEE TCSVT H.264 SVC 专刊合集
《Learning Hierarchical Modular Networks for Video Captioning》论文笔记
Zssss12的博客
03-14 1667
1、文章作者提出了一个分层模块化网络(HMN)，在生成字幕之前，以四个粒度连接视频表示和语言语义：实体、动词、谓词和句子。每个级别由一个模块实现，以将相应的语义嵌入到视频表示中。2、提出了一个基于字幕场景图的强化学习模块，以更好地衡量句子的相似性。视频字幕旨在为给定的视频剪辑生成自然语言描述。现有方法主要侧重于通过预测字幕和真实文本之间的逐字比较进行端到端表示学习。尽管取得了重大进展，但这种监督方法忽略了视觉和语言实体之间的语义对齐，这可能会对生成的字幕产生负面影响。在这项工作中，我们提出。
密集视频字幕
weixin_45922360的博客
10-25 1025
密集视频字幕
《Multi-modal Dense Video Captioning》（MDVC）论文笔记
Zssss12的博客
03-12 1187
密集视频字幕是一项从未修剪的视频定位有趣事件并为每个本地化事件生成文本描述（标题）的任务。以前的密集视频字幕的大部分工作都完全基于视觉信息，完全忽略了音频轨迹。然而，音频和语音，特别是人类观察者在理解环境方面的重要线索。在本文中，我们提出了一种新的密集视频字幕方法，该方法能够利用任意数量的模态进行事件描述。具体来说，我们展示了音频和语音模式如何改进密集的视频字幕模型。我们应用自动语音识别 (ASR) 系统来获得语音的时间对齐的文本描述（类似于字幕），并将其视为视频帧和相应的音频轨道的单独输入。
ACL 2020 Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA
smile909的博客
04-25 300
动机 视频传递着丰富的信息。因此，开发能够从视频中自动提取各种信息的模型就显得尤为重要。 最近几年，获取信息的方式发生了一种范式的转变，其中有很多与观看和收听通过互联网和新的高速网络大量分享的视频有关。视频传达了一种不同宽度的丰富信息，如人/物之间的动态时空关系，以及不同的多模态事件。因此，开发能够从视频中准确提取如此精确的多模态信息的自动化模型变得十分重要。 在视频上回答问题是可以评估这种AI能力的任务之一。视觉/视频问答对具有综合智能的智能体来说是一项重要的能力。 视频问答是一个具有代表性的人工
TCSVT：Scalable Intra Coding Optimization for Video Coding 论文精读
qq_41988131的博客
11-04 472
北京大学高文团队发表在TCSVT上的帧内优化算法文章：Scalable Intra Coding Optimization for Video Coding。
TCSVT（IEEE Transactions on Circuits and Systems for Video Technology）期刊投稿指南
qq_35831906的博客
11-12 1万+
IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)涵盖了所有视频技术的电路和系统方面。鼓励在TCSVT上发表 图像/视频获取、表示、呈现和显示；处理、滤波和变换；分析和合成；学习和理解；压缩、传输、通信和网络；存储、检索、索引和搜索；以及硬件和软件设计与实施相关的一般性、理论性和应用导向，具有电路和系统的视角的论文。本文介绍TCSVT论文投稿指南。
IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY（TCSVT） 投稿经验
热门推荐
q15516221118的博客
04-01 3万+
期刊名：IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY投稿经验
2004年IEEE Transactions on Circuits and Systems for Video Technology:论文精选
《IEEE Transactions on Circuits and Systems for Video Technology》（简称TCSVT）是一本专注于视频技术领域中的电路与系统研究的专业学术期刊，发表于2004年12月，第14卷第12期。本期内容涵盖了多个与视频处理、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值