【ECCV 2024】InternVideo2: Scaling Foundation Models for Multimodal Video Understanding

最新推荐文章于 2025-05-14 10:05:25 发布
最新推荐文章于 2025-05-14 10:05:25 发布
阅读量1.8k 收藏 18
点赞数 16
分类专栏： 视频生成/视频理解 cv与nlp深度学习实战项目【知识总结与代码】 文章标签： InternVideo InternVideo2 vid transformer 深度学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/140841366
版权

【ECCV 2024】InternVideo2: Scaling Foundation Models for Multimodal Video Understanding

一、前言

Authors: Yi Wang, Kunchang Li, Xinhao Li, Jiashuo Yu, Yinan He, Chenting Wang, Guo Chen, Baoqi Pei, Ziang Yan, Rongkun Zheng, Jilan Xu, Zun Wang, Yansong Shi, Tianxiang Jiang, Songze Li, Hongjie Zhang, Yifei Huang, Yu Qiao, Yali Wang, Limin Wang
单位：OpenGVLab, Shanghai AI Laboratory

【Paper】 > 【Github_Code】 > 【Project】

Abstract

介绍：我们推出了 InternVideo2，这是一个新的视频基础模型 (ViFM)

了解本专栏 订阅专栏 解锁全文
视频生成/视频理解【文章汇总】SVD, Sora, Latte, VideoCrafter12, DiT...
zik的博客
07-24 1487
Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human percepti
cvpr2015papers
ZhangPY的专栏
03-02 9211
@http://www-cs-faculty.stanford.edu/people/karpathy/cvpr2015papers/ CVPR 2015 papers (in nicer format than this) maintained by @karpathy NEW: This year I also embedded the (1,2-gram) tfidf
AI Lab InternVideo2 本地运行体验
专注-享学课堂
03-21 274
之前运行过videoLLAM3，阿里达摩院的视频多模态；InernVL在比较早期也体验过，就想再测试下Video。上海AI Lab在普及AI这块做得确实不错！通过这个代码，可以发现internVideo直接从Frame保存的图片来分析 pixel_values就是图片信息数组。num_segments=128 这个决定了关联视频帧分析的上下文。设置为256之后，24G的显存就吃不消了…简单分析下代码：根据github的演示代码运行在4090卡遇到一个问题。
多模态基础模型-InternVideo2：Scaling Video Foundation Models for Multimodal Video Understanding
lovep1的博客
02-16 1797
1、模型训练上，设计了一种渐进式的训练方法，将掩码视频建模、跨模态对比学习和下一个token预测统一起来， 2、数据质量上，强调时空一致性，通过语义分割视频并生成视频-音频-caption，改善了视频和文本之间的对齐 3、将参数量扩展到了60亿，视频识别、视频-文本任务、音频和以及视频中心对话取得sota
论文解读|InternVideo2重塑视频理解新标杆，多模态学习引领行业风向
柏企阅文
04-10 3772
InternVideo2重塑视频理解新标杆，多模态学习引领行业风向
上海 AI Lab InternVideo2：多模态视频理解模型
weixin_51674085的博客
08-06 468
这个版本在动态场景感知、时间理解和推理方面表现出色，非常适合应用于实体 AI 和自动驾驶等领域，官方贴心的提供了。是一个开源的视频理解模型，拥有 60 亿参数的编码器和超过 4 亿个样本。
InternVideo2 视频理解大模型已开源，更强VideoChat来袭！
OpenGVLab的博客
09-25 6657
作者在当下，视频无疑是连接我们日常沟通与分享的纽带。据最新数据表明，互联网上超过70%的流量都来源于视频内容，然而，AI大模型做视频理解并非易事，LeCun就曾在访谈中谈及他在视频理解领域数十年的经验心得（书生系列大模型是最早在此领域取得突破的大模型之一。2022年，InternVideo已经成在视频理解标杆Kinetics 700和Kinetics400上获得SOTA性能，且成为世界首个在K400上突破90% Top1 accuracy的大模型；2023年成为我们超受欢迎的的基础模型。
InternVideo 项目使用教程
gitblog_00735的博客
09-25 1560
InternVideo 项目使用教程 InternVideo InternVideo: General Video Foundation Models via Generative and Discriminative Learning (https://arxiv.org/abs/2212.03191) ...
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
【论文分享】InternVideo: General Video Foundation Models via Generative and Discriminative Learning
crazyjinks的博客
07-25 3295
最近，基础模型在计算机视觉领域的各种下游任务上表现出色。然而，大多数现有的视觉基础模型仅关注图像层次的预训练和适应（adaption），这对于动态且复杂的视频层次理解任务来说是有限的。为了填补这一空白，我们通过利用生成式和判别式自监督视频学习的优势，提出了通用视频基础模型InternVideo。具体来说，InternVideo高效地探索了遮罩视频建模和视频-语言对比学习作为预训练目标，并以可学习的方式选择性地协调这两个互补框架的视频表示，以提升各种视频应用。
VALSE 2024年度进展评述内容分享-视觉基础大模型的进展
audyxiao001的博客
05-07 1496
本文总结了VALSE 2024年度进展评述《视觉基础大模型的进展》的精彩内容，方便读者学习。
CV最新论文｜3月25日 arXiv更新论文合集
03-25 1393
计算机视觉
动作识别综合指南
新缸中之脑
06-14 1191
让我们先试着构造问题。但是，我马上要说的是，在一般情况下，这是不可能的。什么是“动作”？如果我们看看研究任务“动作识别”，这里也没有共识。但这只是其中很小的一部分。还有“动作分类”、“视频分类”和“自监督动作识别”等任务（这些是部分重叠的任务 1、2、3）。有带骨架的数据集；在某些数据集中，它是短视频；无关紧要的是长视频。什么是动作？动作是可以在视频上标记的事件，并且事先知道它可以在那里发生。人、机器、动物或其他东西可以产生事件。为什么我更喜欢这个定义？
书生InternVideo2.5开源，万帧长视频准确“大海捞针”，精细感知真实时空关系
OpenGVLab的博客
02-12 978
近日，上海人工智能实验室（上海AI实验室）联合南京大学、中科院深圳先进技术研究院共同开源视频多模态大模型书生InternVideo2.5。在视频理解领域，全新升级的InternVideo2.5取得时间跨度与细粒度的双维提升，“记忆力”较前代模型扩容6倍，具备万帧长视频中精准“大海捞针”能力，AI视频理解既能“短平快”，亦可“长深细”。让AI得以更准确“看懂”纷繁的真实世界，更为多领域应用注入新质生产力。书生InternVideo系列模型此前已应用于中央广播电视总台。
2024多模态大模型发展调研
Jay_fearless的博客
10-02 1625
随着生成式模型应用的日益广泛，其输入输出模态受限的问题日益凸显，成为制约技术进一步发展的瓶颈。为突破这一局限，本文聚焦于研究多模态信息的协同交互策略，旨在探索一种能够统一理解与生成的多模态模型构建方法。在此基础上，我们深入研究可控的混合多模态信息生成技术，力求揭示多模态语义层次间的隐含关系，从而实现对生成内容的精准编辑。此外，本文还致力于构建具备强时空一致性的多模态混合输出生成式模型，以期实现时序一致的长视频生成，并在复杂的音视频内容理解与生成任务中进行实践应用验证，为推动多模态大模型技术的全面发展贡献力量
ECCV 2024 | VideoAgent：视频理解智能体来了！媲美Gemini 1.5 Pro
阿木寺的博客
09-06 1076
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：机器之心视频理解仍然是计算机视觉和人工智能领域的一个主要挑战。最近在视频理解上的...
Pycharm（十九）深度学习
higerwy的博客
05-06 1387
深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。
基于EMD-PCA-LSTM的光伏功率预测模型研究
最新发布
专注AI大模型,软件混淆,授权
05-14 30
本文提出了一种结合经验模态分解(EMD)、主成分分析(PCA)和长短期记忆网络(LSTM)的混合模型，用于提高光伏功率预测的准确性。该模型首先利用EMD将非平稳的光伏功率序列分解为多个本征模态函数(IMF)，然后通过PCA对多维气象特征进行降维处理，最后将处理后的特征输入LSTM网络进行预测。实验结果表明，与单一LSTM模型和传统预测方法相比，EMD-PCA-LSTM模型在预测精度和稳定性方面均有显著提升。该模型有效处理了光伏功率序列的非平稳性和非线性，同时通过特征降维提高了模型效率，为光伏功率预测提供了一
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值