【论文阅读】CentralNet: a Multilayer Approach for Multimodal Fusion

已于 2022-05-13 16:23:29 修改
阅读量834 收藏 2
点赞数 1
分类专栏： 多模态 文章标签： 深度学习
于 2021-03-04 12:50:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36643449/article/details/114365617
版权

CentralNet相比于Concatenate的创新点

Concate的方法相当于在各自模态的特征分别独立抽取之后做融合，但是不干预特征抽取的过程。这显然会漏掉一些不同模态之间的相关性的信息，比如，一个人尖叫的视频片段，里面有人的嘴巴长得很大的这种视觉特征，也会有尖叫声这种声音特征，这两种特征出现的时间都是相关连的。如果在抽取特征的过程中，相互有一个监督或者借鉴的关系，那样应该会更好，这是CentralNet提出的动机。CentralNet把两个可以独立在各自模态做出判断的网络的中间层联系起来，利用联合多任务训练来优化，最后也得到了不错的结果。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
参考文章：
CentralNet做多模态融合

CC‘s World
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python:实现multilayer perceptron classifier多层感知器分类器算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
07-29 496
Python:实现multilayer perceptron classifier多层感知器分类器算法(附完整源码)
ITRANSFORMER: INVERTED TRANSFORMERS AREEFFECTIVE FOR TIME SERIES FORECASTING 论文阅读
weixin_51657614的博客
03-13 1078
论文地址: https://arxiv.org/abs/2310.06625 代码: GitHub - thuml/iTransformer: Official implementation for "iTransformer: Inverted Transformers Are Effective for Time Series Forecasting" (ICLR 2024 Spotlight), https://openreview.net/forum?id=JePfAI8fah摘要最近线性预测模型的
CenterNet算法笔记
AI之路
06-18 1万+
论文：Objects as Points 论文链接：https://arxiv.org/abs/1904.07850 代码链接：https://github.com/xingyizhou/CenterNet 这篇CenterNet算法也是anchor-free类型的目标检测算法，基于点的思想和CornerNet是相似的，方法上做了较大的调整，整体上给人一种非常清爽的感觉，算法思想很朴素、直接，而且...
Multimodal Fusion（多模态融合）
热门推荐
nakaizura
03-28 17万+
Jeff Dean：我认为，2020年在多任务学习和多模态学习方面会有很大进展，解决更多的问题。我觉得那会很有趣。 多模态融合 （Multimodal Fusion） 一般来说，每一种信息的来源或者形式，都可以称为一种模态（Modality），目前研究领域中主要是对图像，文本，语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些交叉（所...
多模态融合算法分析
最新发布
Debroon
06-18 772
在模型的输入阶段就开始融合不同来源的数据，通常通过直接结合不同模态的特征向量来进行。
多模态融合 Multimodal Fusion
jwy2014的专栏
01-14 3813
多模态融合 Multimodal Fusion 多模态融合（Multimodal Fusion ）负责联合多个模态的信息，进行目标预测（分类或者回归），属于 MMML 最早的研究方向之一，也是目前应用最广的方向，它还存在其他常见的别名，例如多源信息融合（Multi-source Information Fusion）、多传感器融合（Multi-sensor Fusion)。 按照融合的层次，可...
人工智能技术中的多模态融合（Multimodal Fusion）
易之阴阳，量子纠缠，道之一体，缘起性空
05-13 532
人工智能技术中的多模态融合（Multimodal Fusion）是指将来自不同感官通道（如视觉、听觉、触觉、味觉和嗅觉）或不同类型的数据（如文本、图像、语音、视频等）结合起来，以提高系统的理解和推理能力。随着技术的进步，多模态融合在人机交互、智能家居、教育、娱乐、安全等领域都有广泛的应用前景，且随着物联网（IoT）和5G等技术的发展，这种融合将会更加无缝和智能化。
11-777 lecture 10.1 Multimodal Fusion
贵在坚持
10-17 314
文章目录backgroundOKR1. Quick recap background Recently, I find a good cources about multimodal machine learning. In this blog, I will study it and note my understanding. Here is orgin URL : ppt O how to set coordinated representations. KR Quick recap Coordin
A multilayer FOCUSS approach for sparse representation
02-07
其中，\(x\) 或 \(X\) 是观测向量或矩阵，\(A\) 是过完备字典（字典通常包含比待表示信号维度更多的基向量），\(s\) 或 \(S\) 是稀疏系数向量或矩阵。目标是寻找一个稀疏解 \(s\) 或 \(S\)，使得观测数据能够被精确...
Time-Shifted Multilayer Graph: A Routing Framework for Bulk Data Transfer in Optical Circuit-Switched Networks With Assistive Storage
02-07
本文提出了一种针对光电路交换网络中带有辅助存储功能的大规模数据传输的路由框架——时间偏移多层图（Time-Shifted Multilayer Graph）。在光通信网络中，大规模数据传输面临着高峰时段带宽资源的竞争问题，不仅...
ICCV 2021 | LeViT: a Vision Transformer in ConvNet‘s Clothing for Faster Inference论文阅读笔记
tiantianwenwen的博客
07-30 913
论文：https://arxiv.org/abs/2104.01136 代码（刚刚开源）： https://github.com/facebookresearch/LeViT ABSTRACT 我们设计了一系列的图像分类体系结构，在优化精度和效率之间权衡。我们的工作利用了基于最新发现注意力的架构，该架构在高度并行处理硬件上具有竞争力。我们回顾了许多文献中的卷积神经网络原理，将其应用于 transformers，特别是分辨率降低的激活图。我们还介绍了视觉 transformers中位置信息整合的新方法
User Profiling through Deep Multimodal Fusion
qq_31402749的博客
10-06 1582
写在前面：小小白读的第一篇论文，读的不是很明白，特地记录下来，写的不好，仅供自己参考。如果写的不对还请大家多多指教，多多交流。 PS：绿色文字代表我不是很确定我的想法是不是正确，或者我读不懂的地方，红色文字代表经过查找询问等方法后对绿色文字部分的解答。划线这种代表第一次理解错的地方，因为想记录一下思考过程，所以留了下来。另外，本文的相关链接，都是作者看过很多相关文章之...
多模态信息融合研究
MOL
06-28 3304
多模态信息融合研究：多模态融合fusion的各种操作：
CenterNet
dekiang
10-18 450
目录出发点贡献 论文：CenterNet: Keypoint Triplets for Object Detection 时间及出处：CVPR 2019 出发点 CornerNet有1个缺陷，就是在做corner grouping时只靠聚类得到的embedding来唯一确定分组结果，导致这种分组方法的随意性比较大，鲁棒性比较低，最终检测结果出现了比较多的false positive，如下图所示： 注：蓝色框为GT框，红色框为CornerNet检测出的top-100个边界框。 对此，CenterNet提出一
多模态中各种Fusion方式汇总
【实力派，无需多言！】
11-07 440
多模态中各种Fusion骚操作大噶好，我是DASOU；今天继续写多模态系列文章，对多模态感兴趣的可以看我之前的文章：今天我主要放在第二个部分，也就是各个模态的Fusion方式汇总；Fusion做的事情简单来说就是把不同模态的信息整合为一个信息，得到一个特征向量，然后利用这个特征向量再去做下游任务；所以它的任务就是更深的挖掘不同模态信息同时更好的融合进最终的representation;
论文笔记 EMNLP 2021|Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for
o11oo11o的博客
04-23 3867
文章目录1 简介1.1 动机1.2 创新2 方法2.1 模态编码2.2 模态中互信息最大化2.3 融合中互信息最大化3 实验 1 简介 论文题目：Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis 论文来源：EMNLP 2021 组织机构：新加坡科技设计大学 论文链接：https://arxiv.org/pdf/2109.00412.
多模态融合方法总结
weixin_42707080的博客
07-15 1517
多模态融合方法总结
推荐文章：利用MultiModal-InfoMax提升多模态融合效果
gitblog_00033的博客
06-13 277
推荐文章：利用MultiModal-InfoMax提升多模态融合效果 Multimodal-Infomax项目地址:https://gitcode.com/gh_mirrors/mu/Multimodal-Infomax 在这个数字化时代，多模态信息处理正变得越来越重要，特别是在情感分析和智能交互领域。为此，我们向您推荐一个创新的开源项目——MultiModal-InfoMax，这个项目源自于在...
简述一下这篇论文：Construction of All Multilayer Monolithic Rectilinear Steiner Minimum Trees on the 3D Hanan Grid for Monolithic 3D IC Routing
02-24
这篇论文提出了一种3D IC布线中具有最小树形开销的方法，即使用Hanan网格构建多层单体矩形Steiner最小树（MMRST）。它包括一系列基本算法，用于构建每一层的最小树，以及一个综合算法，用于构建多层单体最小树，从而使总的开销最小。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值