![](https://img-blog.csdnimg.cn/0c1ec9edc2894a9789131952ce580497.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
多模态情感分类文章阅读
文章平均质量分 83
多模态
BBBBBAAAAAi
这个作者很懒,什么都没留下…
展开
-
Cross-Modal Complementary Network with Hierarchical Fusion for Multimodal Sentiment Classification
多模态情感分析原创 2023-04-11 20:25:42 · 324 阅读 · 0 评论 -
多模态机器学习对齐内容
介绍多模态机器学习对齐方向内容原创 2023-03-06 16:35:38 · 4614 阅读 · 1 评论 -
MultiSentiNet: A Deep Semantic Network for MultimodalSentiment Analysis(CCF B)
使用图像对象特征和场景特征指导文本特征向量的生成,最终求得了较好的性能。原创 2022-11-08 10:58:32 · 780 阅读 · 0 评论 -
Image-Text Interaction Network(CCF B)
本篇文章重点关注图像和文本信息的对齐工作,在MVSA-S和MVSA-M数据集上达到了SOTA原创 2022-11-06 16:35:18 · 3059 阅读 · 15 评论 -
A Co-Memory Network for Multimodal Sentiment Analysis
首次使用co-memory来提升多模态情感分析的性能,达到了当时的SOTA效果原创 2022-11-05 19:17:22 · 866 阅读 · 2 评论 -
Fusion-Extraction Networkfor Multimodal Sentiment Analysis(CCF C类)
使用的数据集是来自twitter的MVSA-Single和MVSA-Multiple。与CoMN相比,FENet网络结构是用细粒度的注意力机制达到了当时的SOTA原创 2022-11-05 16:45:47 · 1417 阅读 · 0 评论 -
Cross-Modal Prompt Tuning
本篇清华刘知远组提出的CPT模型是在多模态的图像端使用prompt技术的首个工作,经过大量的实验表明,该方法取得了好的zero-shot和few-shot性能,在全数据上的性能也超越了普通的微调方法。原创 2022-10-06 21:49:59 · 711 阅读 · 0 评论 -
Visual Prompt Tuning
对于大量的识别任务来说,最准确的结果是通过对在大量原始数据上预训练的大型基础模型进行调整获得的,然而在实际中,使这些大型的模型去适应下游任务有其自身的挑战。这种方法是不可行的,特别是对于哪些基于transformer的结构,比如ViT-H有6亿多的参数,ResNet-50有25M的参数。在下游任务训练期间,该方法会冻结预训练的transformer backbone,通过引入少量的特定于任务的可学习的参数到输入空间来实现和full fine-tune相当甚至是超过全微调的性能。使用验证集来选择超参数。原创 2022-10-06 13:43:18 · 3130 阅读 · 0 评论 -
Learning to Prompt for Vision-Language Models
1.问题背景识别正确的提示(识别精度尽可能高的提示),通常需要花费非常多的时间来进行单词的调整,在单词中的一个轻微改变都可以使得在性能上有巨大的不同。但是可以发现即使是做了大量的调整,最后的精度可能不是最优的。受到NLP领域中prompt learning研究的启发,本文提出了Context Optimization(CoOp),具体来说固定整个预训练模型的参数,然后对text encoder中的提示词进行学习,自动化提示工程。对于一个新的类别分类任务来说,一个描述与任务相关的...原创 2022-04-04 15:07:16 · 6156 阅读 · 0 评论 -
Zero-shot learning,Few-shot learning简单理解
Zero-shot learning,Few-shot learning原创 2022-03-11 19:39:46 · 1594 阅读 · 0 评论