2021-iccv-Face, Body, Voice: Video Person-Clustering with Multiple Modalities

已于 2022-06-12 19:23:18 修改
阅读量190 收藏
点赞数
分类专栏： 数据 movie 多模态 文章标签： 聚类 音视频
于 2022-05-24 10:59:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40875443/article/details/124942906
版权
多模态 同时被 3 个专栏收录
11 篇文章 0 订阅
订阅专栏
movie
8 篇文章 0 订阅
订阅专栏
数据
5 篇文章 0 订阅
订阅专栏
该博客介绍了针对电影和电视剧场景的多模态人物聚类方法，通过整合face、body、voice信息进行视频人物聚类。提出了VideoPersonClustering (VPC)数据集，该数据集在原始的face标注基础上增加了body和voice标注。文章还分享了三步聚类法的详细流程，并提供了数据集和代码资源供下载。
摘要由CSDN通过智能技术生成

在这里插入图片描述
Contributions:

  1. 提出一种多模态人物聚类方法，使用face、body、voice
  2. 提出Video Person Clustering(VPC)数据集。在原有数据集的基础上（face），增加body、voice标注。视频均来自电影和电视剧

Methods：
三步聚类法

注：数据集、代码可下载

岳额不到五
关注
专栏目录
论文解读：《Video Face Clustering with Unknown Number of Clusters》
jh97321的博客
11-05 837
论文地址：https://arxiv.org/pdf/1908.03381.pdf 要了解电视剧和电影等视频，需要分析角色是谁以及他们在做什么。我们解决了根据身份将脸部轨迹聚类的难题。与该领域的先前工作不同，我们选择在现实且困难的环境中进行操作：（i）先验字符数未知，（ii）属于次要或背景字符的面部轨迹不会被丢弃。为此，我们提出了“球聚类学习”（BCL），一种有监督的方法，可以将嵌入空间雕刻成大...
去卷积源代码matlab-ICCV2017_RevisitCCIT_code:ICCV2017论文RevisitCrossChannelTra
06-17
(ICCV 2017) 该存储库包含由 Tiancheng Sun、Yifan Peng 和 Wolfgang Heidrich 撰写的 ICCV 2017 论文“Revisiting Cross-channel Information Transfer for Chromatic Aberration Correction”的代码。 入门 我们...
Video Clustering
02-28
视频聚类方面比较经典的文献，发表的时间较早，但近期很少有此类直接描述视频聚类的文献。
Video Face Clustering with Unknown Number of Clusters
domoNaruto的博客
12-20 538
【论文阅读】（XDC）Self-Supervised Learning by Cross-Modal Audio-Video Clustering
qq_36627158的博客
09-22 867
Self-Supervised Learning by Cross-Modal Audio-Video Clustering （2020 NeurIPS） Humam Alwassel, Dhruv Mahajan, Bruno Korbar, Lorenzo Torresani, Bernard Ghanem, Du Tran Notes Contributions propose Cross-Modal Deep Clustering (XDC), a novel self-supervi
人脸聚类、数据清洗
weixin_NineDays66
12-03 2110
One folder should contains images of one person. Clustering on every folder is proposed through features extracted from a deep neural network. The number of clustering center of every folder is set to...
Awesome-ICCV:ICCV2019最新录用情况
05-11
本内容现在是ICCV2019,后期会更新为ICCV2021以随时更新 Awesome-ICCV2019 更新所有录用论文（已更新1000余篇ICCV2019论文） Last updated: 2021/01/25 【计算机视觉联盟】回复【ICCV2019】即可获得百度云所有论文...
Video-Cap::clapper_board:视频字幕
05-16
此存储库是ICCV '15论文-Tensorflow 1.0中的的实现 表现 方法 BLEU @ 1分数 seq2seq * 0.28 * seq2seq是纸张模型的复制品 运行代码 pip install -r requirements.txt ./run.sh data/testing_id.txt data/test_...
bagging算法代码matlab-RMI-SVM-ICCV2015:RMI支持向量机
05-26
RMI-SVM是基于ICCV（International Conference on Computer Vision）2015年提出的一种方法，该方法旨在改进SVM在处理大规模图像数据时的性能。RMI的核心思想是通过多尺度分析来捕获图像的不同特征，这些特征随后被...
Unsupervised-Adaptation-for-Deep-Stereo:“用于深度立体声的无监督自适应”的代码-ICCV17
05-13
“用于深度立体声的无监督自适应”的正式代码-ICCV17（ ） 这是用于ICCV17论文的原始caffe实现，此后我们还开发了一个更易于处理的tensorflow实现，可在以下位置找到： ： 。 （免责声明：在tensorlfow上训练的...
【AI视野·今日CV 计算机视觉论文速览 第203期】Fri, 21 May 2021
TomRen
05-21 764
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 21 May 2021 Totally 52 papers ????上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Face, Body, Voice: Video Person-Clustering with Multiple Modalities Authors Andrew Brown, Vicky Kalogeiton, Andrew Zisserman这项工作的目标是根据其身份进行视频分组字
Video Understanding(视频理解，I3D，SlowFast，Non-local)
nakaizura
03-18 8167
CV领域图像已经登天很难短时间玩不出大花样大结构了（希望能早日打脸），大家开始打往视频上面靠的主意。由于早期限制于数据集和计算设备，多是从图像的2D模型直接转换成3D版本，如SIFT 3D，3D HOG，或者Dense Trajectory这种统治了很久的模型等，等到深度学习开始步入新的周期，数据集也开始扩增出现UCF101，ActivityNet，Charades，YouTube8M，Kine...
行人重识别论文--A Bottom-up Clustering Approach to Unsupervised Person Re-identification
时间虚掷的孤岛
07-10 2757
A Bottom-up Clustering Approach to Unsupervised Person Re-identification 目录 A Bottom-up Clustering Approach to Unsupervised Person Re-identification 1. Introduction 2. 贡献： 3. 流程图 示例 4. Methodol...
深度学习——Re-ID——读，运行Unsupervised-Person-Re-identification-Clustering-and-Fine-tuning
weiwei935707936的博客
09-08 1609
(本文架构如下) 背景知识 网络架构与训练过程 作者卖点 损失函数 解决的问题及存在的不足 代码流程及关键组件 改动实验 相关工作（之后要补Re-ID的时候再来） 一.背景知识： 1.self-paced learning(自步学习): 即先学简单的，再学难的。 二.网络架构与训练过程： 网络架构： 用有标签数据首先训练一个模型。 无标签数据...
论文阅读9 | COCAS：一个大规模换装的行人重识别数据集
滨哥v5的博客
05-11 1725
COCAS
多模态global-local文章调研
weixin_40875443的博客
03-14 4608
多模态global-local文章调研 1. 《T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval》 这篇文章讲的比较全面：添加链接描述 1.1 全局特征：max pooling+self-Gating 1.2 局部特征：全连接+一层Transformer 2. 《Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning》 论文讲解：添加链接描述 2
多模态、跨模态 融合、检索、匹配
weixin_40875443的博客
07-13 2724
如何做好BERT多模态任务 基于BERT的多模态应用：图像，视频如何通过BERT处理: link BERT跨模态预训练: link. AAAI 2021 | 多模态最新进展解读: link.
多模态情感分析
weixin_40875443的博客
05-12 2328
多模态分析数据集（Multimodal Dataset） 不只情感分析 《Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis》 阅读笔记
你知道2021-ICCV_TRANSREID_TRANSFORMER-BASED-OBJECT-RE-IDENTIFICATION这篇文章嘛
最新发布
02-17
是的，作为一名大型语言模型，我对很多计算机科学领域的论文都有一定的了解，包括2021-ICCV_TRANSREID_TRANSFORMER-BASED-OBJECT-RE-IDENTIFICATION这篇文章。这是一篇关于基于Transformer的目标再识别方法的论文，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值