Movies2Scenes: Learning Scene Representations Using Movie Similarities

最新推荐文章于 2024-04-22 21:07:32 发布
最新推荐文章于 2024-04-22 21:07:32 发布
阅读量224 收藏
点赞数
分类专栏： movie 视频表示学习 数据 文章标签： 视频 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40875443/article/details/124916696
版权
该研究提出了一种从genre/synopsis/more-like-this信息中选择相似电影，选取前50%相似场景作为正样本的策略。通过将每k帧划分为patch，结合位置嵌入输入到transformer-based网络中，利用对比学习方法学习场景表示。在多个数据集上进行了下游任务的实验，包括在新提出的MovieCL30K和MCD数据集上的预训练和测试。然而，数据集和代码并未公开发布。
摘要由CSDN通过智能技术生成

《2022-arxiv- Movies2Scenes: Learning Scene Representations Using Movie Similarities》
在这里插入图片描述

步骤

  1. 从genre/synopsis/more-like-this information中选出类别相同的电影，然后从相似的电影的找出前50%相似的scene作为positive samples
  2. 将每k帧的frame划分patch，加上position embedding输入到transformer-based的网络中抽取特征，用公式（2）做contrastive learning，学习scene表示
  3. 在多个数据集上进行下游任务

实验

  1. 在新提出的MovieCL30K数据集上预训练，其他数据集作为下游任务训练并测试
  2. 新提了一个MCD数据集
注

数据集、代码：未公开

岳额不到五
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
计算机视觉论文整理
snailme的博客
05-30 1万+
本文梳理了2012到2017年计算机视觉领域的大事件：以论文和其他干货资源为主，并附上资源地址。囊括上百篇论文，分ImageNet 分类、物体检测、物体追踪、物体识别、图像与语言和图像生成等多个方向进行介绍。 上述的深度学习被引用最多的100篇论文是Github上的一个开源项目，社区的成员都可以参与。
Make3D: Learning 3D Scene Structure from a Single Still Image
05-02
art and also give a much richer experience in the 3D flythroughs created using image-based rendering, even for scenes with significant nonvertical structure. Using this approach, we have created ...
video understanding
weixin_43845649的博客
03-16 261
这篇文献介绍了一个名为MovieGraphs的新数据集，该数据集提供了电影剪辑中描绘的社会情境的详细、基于图形的注释。每个图形包括几种类型的节点，以捕捉出现在剪辑中的人员、他们的情感和物理属性、他们之间的关系（即父/子关系）以及他们之间的互动。大多数交互行为都与提供额外细节的主题和给出行为动机的原因相关联，并且大多数交互行为和许多属性都是以时间戳为基础的。作者还提出了一种查询视频和文本的图形方法，并展示了这些图形包含丰富且充分的信息以概括和定位每个情境。该数据集还为交互理解和原因理解提出了方法。
【论文笔记】CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
m0_58678659的博客
06-12 891
大规模预训练的 Transformer 模型已经在文本（如GPT-3）和文本到图像（如DALL-E和CogView）生成方面取得了里程碑式的成果。然而，将其应用于视频生成仍然面临许多挑战：潜在的巨大计算成本使得从头开始训练不可承受；文本-视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在本文中，作者提出了一个9B参数的 Transformer 模型CogVideo，通过继承预训练的文本到图像模型 CogView2 进行训练。还提出了多帧率分层训练策略，以更好地对齐文本和视频片段。
《Vid2Seq》论文笔记
Zssss12的博客
04-22 1725
在这项工作中，我们引入了Vid2Seq，这是一种多模态单阶段密集事件字幕模型，它在大规模可用的叙述视频上进行了预训练，Vid2Seq 架构使用特殊的时间标记(time tokens)增强了语言模型，使其能够同时预测同一输出序列中的事件边界和文本描述。这种统一的模型需要大规模的训练数据，这在当前的注释数据集中是不可用的。我们表明，通过将转录语音的句子边界重新表述为伪事件边界，并使用转录的语音句子作为伪事件字幕，可以利用未标记的叙述视频进行密集视频字幕。
【CV】用于计算机视觉的 Transformer 高被引综述
人生是要不断做减法
05-02 4641
论文年份：2021，论文被引：279（2022/05/02）
Paper：《Multimodal Machine Learning: A Survey and Taxonomy，多模态机器学习:综述与分类》翻译与解读
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-27 1万+
​ Paper：《Multimodal Machine Learning: A Survey and Taxonomy，多模态机器学习:综述与分类》翻译与解读 目录 《Multimodal Machine Learning: A Survey and Taxonomy》翻译与解读 Abstract 1 INTRODUCTION 2 Applications: a historical perspective应用：历史视角 3 Multimodal Representations多模态表示 3
What are some good books/papers for learning deep learning?
weixin_33842328的博客
10-16 439
What's the most effective way to get started with deep learning?       29 Answers     Yoshua Bengio, My lab has been one of the t...
ICCV 2017 paper
qq_34848537的博客
10-08 5220
参考链接 ICCV 2017 open access Paperlist Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Robust Pseudo Random Fields for Light-Field Stereo Matching A L...
Detection in Crowded Scenes: One Proposal, Multiple Predictions.pptx
03-30
这篇论文"Detection in Crowded Scenes: One Proposal, Multiple Predictions"由旷视科技提出，主要关注在拥挤场景下的多目标检测问题。在深度学习领域，多目标检测是一项关键任务，尤其在行人检测中，由于人群的...
ioBroker.scenes:将状态分组到场景并对其进行控制
05-12
ioBroker场景适配器 场景适配器可以创建场景并在ioBroker... 例如，我们在场景“ scene.allLightInBath ”上创建了： scene.allLightInBath |- hm-rpc.0.BOTTOM_LIGHT.STATE - true +- hm-rpc.0.TOP_LIGHT.STATE
Machine Learning by Tutorials (2nd Edition).pdf
10-19
Even better, you’ll learn how machine learning works behind the scenes — and why this technology is awesome. This book is for all Apple and iOS developers who are interested in learning how to ...
matlab光照模型代码-relight-scenes:背光场景
05-23
matlab光照模型代码通过局部颜色变换在多个视图之间传递照明 CVM论文的MATLAB代码。 已在具有MATLAB R2018b的Ubuntu 18.04.1 LTS上进行了测试。 将目录更改为/src ，在MATLAB中运行： >> main ...outpu
【创新发文无忧】Matlab实现阿基米德优化算法AOA-DELM的故障诊断算法研究.rar
最新发布
08-09
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
财务报表执行目录.xlsx
08-09
工资表，财务报表，对账表，付款申请，财务报告，费用支出表 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
基于Simulink仿真探讨TCSC对系统暂态稳定性影响
08-09
晶闸管的可控串联补偿装置（TCSC）是近年来串联补偿新技术的代表，是FACTS系统的主要组成部分。由于采用晶闸管代替传统串联补偿装置的机械开关，是TCSC可以快速、连续地改变所补偿输电线路的等值电抗，因而在一定的运行范围内，可以将此线路的输送功率控制为期望的常数。在暂态过程中，通过快速改变线路等值电抗，从而提高系统的稳定性。 从负载电压和功率波形中可以看出，没有安装TCSC时，发生三相故障，故障切除后，系统的功率发生较大振动，负载电压也包含很大的谐波分量，系统发生了功率震荡，不能符合电力系统的运行要求。若在系统中安装TCSC，当系统在0.2s发生故障时，电压和功率急剧减小，故障切除后，系统电压、有功功率和无功功率很快稳定下来。（请使用R2020及以上版本）
C#上位机与PLC通讯源码 C#与三菱PLC通讯MC协议
08-09
C#上位机与PLC通讯源码 C#与三菱PLC通讯MC协议
【BP预测】基于和声搜索算法优化BP神经网络实现风速数据预测附matlab代码.rar
08-09
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值