多模态
文章平均质量分 85
Neways谭
这个作者很懒,什么都没留下…
展开
-
TomBert:一种基于Bert改进的多模态的情感识别方法
TomBert摘要引言模型数据描述mBERTTomBERT摘要论文地址为Adapting BERT for Target-Oriented Multimodal Sentiment Classification基于目标的情感分类是细粒度情感分类的重要任务。即我们关注输入句子中部分,视作目标,对这一部分进行情感分析。传统方法只注重基于文本的情感分类,这边考虑图文多模态融合的方法,提出了新的TMSC(target-oriented multimodal sentiment classification)原创 2021-01-04 15:17:09 · 2859 阅读 · 0 评论 -
多模态学习入门和实践
多模态学习概念主要任务Representation对齐翻译融合(Multimodal Fusion)协同学习(co-learning)概念模态(Modality) 事物发生的方式主要任务Representation学习将多模态数据整合到一个特征表示中。其中,通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。(如下例子)展现方式主要如下:joint联合在一个展现空间中coordinated,不同模态展现在不同空间中,但空间之间相互约束对齐将多模态的元素对齐翻原创 2020-12-16 16:42:43 · 2568 阅读 · 0 评论