《Watch, Listen and Tell: Multi-modal Weakly Supervised Dense Event Captioning》---CVPR2020 论文阅读

最新推荐文章于 2024-08-12 21:37:19 发布
最新推荐文章于 2024-08-12 21:37:19 发布
阅读量182 收藏
点赞数
文章标签： 自然语言处理 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38990652/article/details/120194433
版权

作者提出了一种基于注意的多模态融合模型来整合音频和视频信息。并设计了不同的融合策略来对视频和音频进行整合，证明了音频在视觉任务中的重要性

提取audio，video，captions的特征，将它们输入到句子定位器中。然后在这些特征上应用一个跨注意力。使用注意力特征融合机制，紧接一个全连接层来产生时间segments

Caption generator将这三个特征和得到的时间片段作为输入， 它基于时间段对音频和视频特征进行soft mask clipping剪切，并使用上下文融合技术生成多模态上下文特征。然后通过decoder生成caption

Weakly Supervised Model

没有视频和字幕间的时间对齐ground truth

作者做出了一对一的对应假设：每一个字幕描述一个时间segment，每一个时间segment只对应一个caption

该模型包括两个网络模块：一个句子定位器和一个字幕生成器

给定一个字幕，句子定位器将会产生一个时间片段，对应于给定的时间片段，字幕生成器将会产生一个字幕

Sentence Localizer

给定一个context O（视频或者音频）和编码后的caption C，句子定位器将在O中回归得到一个时间片段S

首先应用一个cross attention在context和caption中，进行attention feature 融合，然后使用一个全连接神经网络来生成时间片段

 

如果是多模态训练的话，Attc只计算视觉模态和caption的，并且生成视频attention Attv和音频Attention Atta

如果是单模态方法的话，caption attention Attc计算视频或音频和字幕之间的

 

Caption Generator

字幕生成器首先在contexts上应用mask clipping来得到segments，然后使用一个context fusion mechanism来融合裁剪的上下文

Context Fusion

融合视频和音频特征

 

Training Loss

 

 

 

李加贝_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NIPS18 ｜ Weakly Supervised Dense Video Caption in Videos
零食的csdn博客
11-27 569
Weakly Supervised Dense Video Caption in Videos，NIPS2018 这项研究由腾讯 AI Lab 与清华大学、麻省理工学院（MIT）和微软亚洲研究院（MSRA） 合作完成。提出了一种使用弱监督方式标注视频中的稠密事件的方法，从而能够缓解模型训练对成本高昂的人工标注数据的需求。这种方法不再需要每个事件的发生时间区间来进行模型训练，而是基于一一对应假设，即每个时间区间只有一个语言描述，而每个语言描述只对应于一个时间区间。一一对应假设在当前公开任务和真实场景中..
Weakly Supervised Dense Video Captioning
人工智能
04-14 8389
https://arxiv.org/abs/1704.01502 Zhiqiang Shen, Jianguo Li, Zhou Su, Minjun Li, Yurong Chen, Yu-Gang Jiang, Xiangyang Xue (Submitted on 5 Apr 2017) This paper focuses on a novel and cha
Dense-Captioning Events in Videos
Yan
07-01 1423
每天一分钟，带你读遍机器人顶级会议文章 标题：Dense-Captioning Events in Videos 作者：Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, Juan Carlos Niebles 来源：International Conference on Computer Vision (ICCV 2017 编译：博...
【AI视野·今日CV 计算机视觉论文速览 第159期】Tue, 24 Sep 2019
TomRen
09-25 2366
AI视野·今日CV 第159期视觉论文速览 --- 基于点特征与边特征交互的点云分析 --- 更宽的组卷积特征网络 --- 场景重光照 --- 无解码器的图像任务方法 --- 场景人体合成
ICCV2019论文题目中文列表
qq_33581906的博客
11-18 7549
英文题目 中文题目 FaceForensics++: Learning to Detect Manipulated Facial Images FaceForensics++：学习检测操纵的面部图像 DeepVCP: An End-to-End Deep Neural Network for Point Cloud Registration DeepV...
CCF A类会议或期刊----多视图，多模态近两年论文
Thincor的博客
03-15 6268
会议/期刊 论文 neurips2020 Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies. neurips2020 Labelling unlabelled videos from scratch with multi-modal self-supervision. neurips2020 A Contour Stochastic Gradient ....
Lab-on-CMOS: A Multi-modal CMOS Sensor Platform towards Personalized DNA Sequencing
02-07
Precision medicine requires scalable bioinstrument for a personalized DNA sequencing, which can be label-free, cost-efficient, and high-throughput. This paper mainly presents three kinds of CMOS-based...
Multi-modal Circulant Fusion for Video-to-Language and Backward
02-07
本研究提出了一种新的多模态融合方法——多模态循环融合（Multi-modal Circulant Fusion，简称MCF），旨在更深入地探索不同模态特征之间的交互作用。在现代人工智能领域，多模态融合技术已经广泛应用于视觉内容到...
ant-design-draggable-modal:Ant Design的Modal，可拖动
05-02
yarn add ant-design-draggable-modal 注意：您必须使用react@16.8.0和react-dom@16.8.0或更高版本。 :hammer: 用法 import React , { useState , useCallback } from 'react' import { Button } from 'antd' ...
react-native-modal-translucent：在Android上删除Modal的StatusBar背景
02-05
npm install react-native-modal-translucent --save # or yarn add react-native-modal-translucent 如果您的RN版本低于0.60，则需要手动链接。 react-native link react-native-modal-translucent 现在运行该...
密集事件描述(dense event caption)论文总结
sinat_35177634的博客
03-30 3872
多事件描述(dense event caption)历年突破性论文总结 多事件描述（DEC） 何为多事件描述（DEC），其实它是视频描述（video caption）的一个分支，视频描述自2015年的S2VT方法以来开始广泛的使用深度神经网络尤其是RNN模型来解决视频描述任务，本人也写了本文也写了视频描述论文相关的综述： https://blog.csdn.net/sinat_35177634/a...
MM-LLMs ：多模态大语言模型综述
u014546828的博客
08-10 1164
在过去一年中，多模态大型语言模型（MM-LLMs）取得了显著进展，通过成本效益高的训练策略，增强了现成的LLMs（大型语言模型），以支持多模态输入或输出。本文旨在通过全面综述，促进MM-LLMs领域的进一步研究。最后，本文在探索MM-LLMs未来发展方向的同时，还维护了一个实时跟踪网站1，以关注该领域的最新进展。此外，本文还回顾了部分MM-LLMs在主流基准测试中的表现，并总结了增强MM-LLMs效能的关键训练策略。随后，本文引入了一个包含126个MM-LLMs的分类体系，每个模型都有其特定的设计公式。
自然语言处理（NLP）--数据增强
最新发布
GDHBFTGGG的博客
08-12 517
自然语言处理（NLP）中的数据增强旨在通过对文本数据进行各种变换，生成更多样化的训练样本，从而提高模型的泛化能力。与计算机视觉中的数据增强不同，NLP中的数据增强需要在保证语义一致性的前提下对文本进行改造。这种技术在数据量不足或多样性欠缺的情况下尤为重要，特别是对于小样本问题和低资源语言。
AI学习系列：大语言模型学习原理
2401_85324918的博客
08-08 1037
今天文章主题：大语言模型的学习原理大语言模型的学习原理是通过深度学习算法，让计算机从大量文本数据中学习语言规律和知识，从而能够理解和生成自然语言。例如，就像婴儿通过不断听大人说话来学习语言一样，大语言模型通过阅读互联网上的海量文章、书籍和其他文本资料，学习理解并能够模仿人类的语言表达。深度学习算法是一种先进的机器学习技术，它借鉴了人脑神经网络的结构，并运用多个层级的节点（或称为“神经元”）来学习数据中的复杂模式。
NLP从零开始------11文本进阶处理之新闻文本分类聚类示例
m0_74922316的博客
08-09 803
本小节将介绍运用朴素贝叶斯模型，分别采用自定义函数和调用 Python内置函数两种方法对新闻文本进行分类。新闻文本分类的流程包括以下步骤。(1)数据读取。读取原始新闻数据， 共有1000条数据。(2)文本预处理。对原始数据进行预处理， 对其进行去重、脱敏和分词等操作， 并分别统计教育、旅游的词频，随后绘制相应的词云图。由于数据分布不均， 对每个类别的数据各抽取400条， 共抽取800条数据进行训练模型及分类。(3)分类和预测。
【大模型从入门到精通15】openAI API 构建和评估大型语言模型（LLM）应用3
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-09 411
函数中的逻辑需要根据实际情况进行调整，以便能够正确解析LLM的响应并提取分数和反馈。以上代码示例仅供参考，实际应用中需要根据具体情况调整和完善。函数对一个响应进行评估，以了解它与提供的上下文的匹配程度以及信息的准确性。
《Unified Visual Relationship Detection with Vision and Language Models》ICCV2023
qq_46981910的博客
08-09 1046
这项工作集中在训练单一的视觉关系检测器（VRD），该检测器可以预测来自多个数据集的标签空间的并集。由于不同数据集的标签体系不一致，合并标签是一个挑战。作者提出了 UniVRD，一种新颖的自下而上的方法，利用视觉和语言模型（VLMs）来统一视觉关系检测。VLMs 提供了对齐良好的图像和文本嵌入，其中相似的关系被优化以在语义上统一。UniVRD 在 HICO-DET 上达到了 38.07 mAP，比当前最佳的自下而上的 HOI 检测器相对提高了 60%。
af: an association-based fusion method for multi-modal classification
09-16
AF（Association Fusion）是一种基于关联的多模态分类方法。多模态分类是指利用多种不同类型的数据（如图像、文本、音频等）进行分类任务。传统的多模态分类方法通常是将不同类型的数据分别提取特征，然后将这些特征...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值