清华和字节联合推出的视频理解大模型video-SALMONN（ICML 2024）

最新推荐文章于 2025-03-26 16:10:05 发布
最新推荐文章于 2025-03-26 16:10:05 发布
阅读量2.4k 收藏 18
点赞数 13
分类专栏： 多模态大模型 文章标签： 视频 多模态大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33757398/article/details/140877962
版权

video-SALMONN: Speech-Enhanced Audio-Visual Large Language Models

论文信息

paper：https://arxiv.org/abs/2406.15704
code：https://github.com/bytedance/SALMONN/
AI也会「刷抖音」！清华领衔发布短视频全模态理解新模型 | ICML 2024
video-SALMONN：语音增强的端到端视听大语言模型
在这里插入图片描述

论文概要

  1. 提出一个端到端的视频理解多模态大模型，可以同时输入视频的语音、音频、视频帧，输出视频描述。
  2. 论文框架包含三点设计：1）音视频在时间维度上的对齐模块；2）多分辨率因果Q-Former；3）多样性损失函数和混合未配对
最低0.47元/天 解锁文章
第七章：多模态大模型实战7.3 视频理解与处理7.3.2 视频理解模型
AI天才研究院
01-19 555
1.背景介绍 本文主要讨论了多模态大模型实战中的视频理解与处理，特别关注了视频理解模型的核心算法原理、具体操作步骤和数学模型公式。 1. 背景介绍 随着互联网的普及和人们对视频内容的需求不断增加，视频理解和处理技术已经成为了人工智能领域的重要研究方向。多模态大模型实战中的视频理解与处理涉及到对视频
举世无双语音合成系统 VITS 发展历程（2024.3 PAVITS）
u013250861的博客
04-28 647
简介：一个快速和强大的zero-shot语音合成器的文本到语音（TTS）和语音转换（VC）；对于文本到语音，采用了文本到向量框架，生成文本表示和韵律提示，文本表示由一个自监督的语音表示和F0表示组成。论文：Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short-Time Fourier Transform。可以利用自我监督的语音来适应新的说话人而没有标注。
支持10K长视频理解的多模态大模型MovieChat（CVPR 2024）
renwu
08-05 1747
最近，将视频基础模型和大型语言模型结合起来构建视频理解系统可以克服特定预定义视觉任务的限制。然而，现有的系统只能处理很少帧数的视频。对于长视频，计算复杂性、内存成本和长期时间连接带来了额外的挑战。利用Atkinson-Shiffrin记忆模型，将Transformers中的tokens作为记忆载体，并结合我们特别设计的记忆机制，我们提出了MovieChat来克服这些挑战。
SALMONN：赋予大型语言模型听觉能力
最新发布
gitblog_00021的博客
03-26 546
SALMONN：赋予大型语言模型听觉能力 SALMONN SALMONN: Speech Audio Language Music Open Neural Network 项目地址: https://gitcode.com/gh_...
video-SALMONN: Speech-Enhanced Audio-Visual Large Language Models
抟土成人祖，炼石补青天。眼中览银河，手可摘星辰。
08-04 1086
SALMONN represents an advanced framework designed to enhance traditional audio-visual models by integrating sophisticated speech processing capabilities. This approach leverages the synergy between audio, visual, and speech data to improve various applicat
视频理解多模态大模型(大模型基础、微调、视频理解基础)
热门推荐
ZhengrongYue的博客
07-19 3万+
多模态大模型(大模型基础、微调)
ICLR 2024｜端到端语音大模型 - SALMONN 字节
强化学习曾小健
12-27 1021
通过将一个预先训练的基于文本的大型语言模型（LLM）与语音和音频编码器集成到一个多模态模型中，SALMONN使 LLM 能够直接处理和理解一般音频输入。并在许多语音任务（如自动语音识别和翻译、基于听觉信息的问答、情感识别等）中取得Sota的表现。
支持图像和视频理解多模态开源大模型：CogVLM2 & CogVLM2-Video
源代码杀手的博客
12-10 1618
我们推出了新一代的CogVLM2系列模型并开源了两款基于开源模型。与上一代的 CogVLM 开源模型相比，CogVLM2在许多关键指标上有了显著提升，例如TextVQADocVQA。支持8K文本长度。支持高达的图像分辨率。提供支持中英文双语的开源模型版本。您可以在下表中看到CogVLM2模型名称基座模型语言英文中文、英文英文英文任务图像理解，多轮对话模型图像理解，多轮对话模型视频理解，单轮对话模型视频理解，基座模型，不可对话模型链接体验链接Int4 模型文本长度。
音视频技术开发周刊 | 247
LiveVideoStack
05-29 1072
每周一期，纵览音视频技术领域的干货。新闻投稿：contribute@livevideostack.com。QoS和QoE初学者指南本篇文章从宏观角度向大家介绍QoS和QoE。我会先从它们的定义开始，然后讨论它们之间的关联。接着，我们再来简单了解公司如何衡量和使用QoS和QoE。视频修复：无监督流对齐的序列对序列学习方法S2SVR（ICML 2022）本文将 Seq2Seq...
AI最全数据集汇总：语音、歌声、音乐、图片、视频等领域开源数据集链接汇总
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
04-12 3708
文章目录**音乐数据集**百万歌数据集**语音数据集**口语维基百科语料库语音命令数据集零资源语音挑战ISOLET数据集阿拉伯语言语料库TIMIT语料库**音响/自然**环境音频数据集城市声音分类城市声音数据集鸟类音频检测挑战中文文本分类数据集THUCNews中文完形填空数据集清华大学开放中文词库中华古诗词数据库上百种预训练中文词向量《口袋妖怪》跨语种命名对照数据集中文突发事件语料库中国股市爬取信...
视频模型CogVideoX开源，全民AIGC时代到来了吗？
zhangyanfei01的专栏
08-08 1073
大家好，我是飞哥！之前不少人都以为大模型只能处理文本。但自从今年 2 月 16 日 OpenAI 在其官网发布了基于文字生成视频的模型 Sora 后，让所有人都认识到了即使对对于复杂的视频信息，大模型仍然是具备对其进行理解，以及进行 AIGC 创作的能力。相对于 Sora 的一直的画大饼，其他家的产品发布和上市的节奏倒是要快的多。在刚刚过去的 7 月 26 号智谱上线了 CodeVideoX。该模...
迈向通用听觉人工智能！清华电子系、火山语音携手推出认知导向的听觉大语言模型SALMONN
weixin_48827824的博客
08-19 1067
给大语言模型“加个耳朵”！清华电子系联合火山语音创新推出认知导向的听觉大语言模型SALMONN
CariGAN: Caricature Generation through Weakly Paired Adversarial Learning论文笔记
weixin_42105640的博客
02-15 1475
@CariGAN: Caricature Generation through Weakly Paired Adversarial Learning CariGAN: Caricature Generation through Weakly Paired Adversarial Learning 传统的漫画生成方法主要采用低层次的几何变换(如图像扭曲)来生成夸张的图像，但在内容和风格上缺乏丰富性...
论文讲解：IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID
AI学习困难户的博客
03-31 892
此图是IDM模块在ResNet-50上的使用图，原文做了实验，发现在第0层之后添加IDM模块，模型的效果更好。（2）把步骤（1）生成的两个张量进行拼接。（3） 将拼接后的源于数据张量和目标域数据张量输入到全连接层，然后对全连接层输出的数据求和。公式（6） 是带有权值的交叉熵损失，用在预测空间上测量中间域和两个域的距离。（5）根据域因子，对源域和目标域加成，生成中间域。对源域和目标域的特征分别使用生成的域因子累乘求和即可得到中间域特征。即源域到中间域的距离加上目标域到中间域的距离就是源域到目标域的距离。
自监督预训练（三）wav2vec 2.0原理剖析
xmdxcsj的专栏
04-17 1万+
一、整体流程 二、feature encoder 理解Conv1d nn.Conv1d(in_channels=5, out_channels=20, kernel_size=3, stride=2) 假设输入input=(batch, in_channels, in_len) batch=1 in_channels=5，对应向量大小，比如word embedding in_len=10，对应word的个数 cnn内部kernel=(in_channels, kernel_size)=(5,3)，相当
清华系出手，推出全面对标Sora的视频大模型
2301_76161259的博客
04-29 935
朱军解释说，Vidu的取名有多重含义，首先字面含义与“Video（视频）”相近，更深层的含义还表达了三个愿景：一是谐音“We do”，“我们第一时间决定我们应该要做，而且立即去做”；二是谐音“We did”，今天的进展虽然只是迈出一小步，但确实做到在这个方向能够有突破性进展；三是“We do together”，现在的进展还在初步阶段，希望与国内优质单位合作，共同实现技术进步。大模型的突破是一个多维度、跨领域的综合性过程，需要技术与产业应用的深度融合。
多模态 AI 解析：大模型如何理解图像和视频（Vision Transformer、Stable Diffusion）
晴天彩虹雨的博客
03-24 299
等任务。
多兴趣建模中兴趣向量多样性度量
whgyxy的博客
12-22 597
多兴趣建模（例如Mind、SINE、ComiRec）过程中，通常会产生多个用户兴趣向量，同一个用户的多个兴趣向量在空间中应当相距足够远
ICML 2024 生成模型
01-07
对于ICML 2024的论文提交，尤其是涉及生成模型的研究工作，会议有严格的要求和指导方针。所有提交至ICML的文章都应遵循官方模板，并通过指定渠道上传。具体来说： - **匿名化处理**：为了确保公平评审过程，作者需...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

深山里的小白羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值