多模态
文章平均质量分 93
cx_0401
这个作者很懒,什么都没留下…
展开
-
MMTM论文阅读
MMTM摘要介绍相关工作多模态传输模块参考论文MMTM: Multimodal Transfer Module for CNN Fusiongithub:https://github.com/haamoon/mmtm摘要后融合中,每个模态是分别经过单模态CNN后得到分数后再融合在一起。Multimodal Transfer Module作为本文提出的单元可以添加在特征层级的不同层级处,可以实现慢融合。利用压缩和激活操作,MMTM利用多个模态的知识去重新校准每个CNN流中的通道特征。不像其他的中间融合原创 2022-03-16 14:56:48 · 4272 阅读 · 0 评论 -
论文阅读《Character-oriented Video Summarization with Visual and Textual Cues》
论文阅读介绍相关工作视频总结人物搜索多模态学习模型结构问题定义参考论文:Character-oriented Video Summarization withVisual and Textual Cues介绍随着社交媒体平台上内容再创造的发展,面向字符的视频总结已经成为了一个用户生成视频内容的关键形式。副标题和弹幕评论的出现使得视频伴随着丰富的文本信息,因此存在挖掘文本信息增强面向字符的视频总结的潜力。本文中我们提出一种独特的联合视觉和文本信息的架构。具体来说,首先我们通过无差别的定位字符,然后通过原创 2022-03-13 14:58:19 · 2045 阅读 · 0 评论 -
论文阅读(Multimodal Dialog Systems via Capturing Context-aware Dependencies of Semantic Elements)
Multimodal Dialog Systems via Capturing Context-awareDependencies of Semantic Elements简述原创 2022-03-06 22:48:02 · 421 阅读 · 0 评论 -
多模态综述
多模态综述介绍参考文献:《Multimodal Machine Learning: A Survey and T axonomy》介绍我们身边的环境就是一个多模态的环境,看到的实体、听到的声音、闻到的气味和尝到的味觉。本篇综述不是着重于多模态的应用,而是重点关注多模态的方法和技术。多模态问题的定义在于数据来源是不同模态的数据,而这些数据具有异质性(heterogeneity),则带来了多模态的五个挑战:representation, translation, alignment, fusion和co-原创 2021-12-03 22:53:08 · 4578 阅读 · 0 评论 -
可靠多模态综述
可靠多模态综述引言引言协同训练: 多模态学习早期学习方法之一,利用模态间的互补性准则,最大化两个不同模态未标记数据的互一致性协同正则化:利用模态间的一致性准则,最小化两个不同模态未标记数据的预测差异性来排除不一致的假设方法统一性:早期基于互补性准则的协同训练类型方法通过各模态最置信的未标记样本的伪标记信息进行相互教学,本质也可看做潜在标记的一致性。两类方法都关注利用样本不同模态间的强相关性近年方法:转而注重学习或者度量模态间的互补信息表示,增强模态的融合性能挑战:信息缺失、噪声原创 2021-11-10 15:32:58 · 967 阅读 · 0 评论