《Supervised Multimodal Bitransformers for Classifying Images and Text》阅读笔记

最新推荐文章于 2024-07-15 12:30:08 发布
最新推荐文章于 2024-07-15 12:30:08 发布
阅读量1.1k 收藏 6
点赞数
分类专栏： 自然语言处理 文章标签： 自然语言处理 深度学习 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39589569/article/details/107386073
版权
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
摘要由CSDN通过智能技术生成

《Supervised Multimodal Bitransformers for Classifying Images and Text》阅读笔记

1 Why

现在越来越多模态化，文字信息通常夹带着图像、声音、视频以及各种传感器的信号。但是很多的多模态数据是以文本为主体。

2 What

本文提出了监督的多模态bitransformer模型，其利用目前最先进的卷积神经网络架构，增强了自然语言处理的纯文本表征，以此融合图片和文本信息，主要用于分类任务。

3 How

在这里插入图片描述
本文是以Bert为主体模型外加一层全连接层做分类器，利用bert的输入特性，提供多模态特征的输入空间。本文对文本的处理是直接使用预训练好的bert，对图片的处理是使用预训练好的ResNet-152的输出作为图片的特征，输入到bert中。

3.1 文本特征

直接使用bert输入。

3.2 图片特征

将ResNet最后的pooling层的每个feature map展开为图片的特征，所以一张图片可以得到N = KM 个特征embedding,每个embedding都是由K*M展开得到2048维的，然后再使用一个W矩阵映射为N个d维的embedding作为一张图片的特征输入到Bert中。

4 Result

待续。。。

5 Idea

本文是利用了bert的输入特性，和卷积神经网络的特性，直接将特征输

最低0.47元/天 解锁文章
小眯睁眼
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（四十七）：Supervised Multimodal Bitransformers for Classifying Images and Text
Wangzx的博客
08-24 506
（四十七）：Supervised Multimodal Bitransformers for Classifying Images and Text
BiFormer:基于双层路由注意力的视觉Transformer
AI浩
04-19 4338
Transformer具有许多适合构建强大的数据驱动模型的属性。首先，它能够捕捉数据中的长程依赖关系[29,42]。其次，它几乎没有归纳偏差，从而使模型更灵活地拟合成吨的[15]数据。最后但并非最不重要的是，它具有高度的并行性，有利于大型模型的训练和推理[13,33,36,42]。因此，transformer不仅彻底改变了自然语言处理，而且在计算机视觉方面取得了非常有希望的进展。在过去的两年中，计算机视觉社区见证了视觉transformer的爆炸式增长[1,14,15,29,44,46]。
transformer细节
hellozhxy的博客
06-07 381
因此对于每一个查询语句Q，我们取出。
【论文阅读及代码实现】BiFormer: 具有双水平路由注意的视觉变压器
川川自溢的博客
05-28 1万+
【论文阅读及代码实现】BiFormer: 具有双水平路由注意的视觉变压器
抱抱脸（hugging face）教程-中文翻译-模型概要
wwlsm_zql的博客
03-25 3192
模型概要 这是一个总结的模型可在Transformers。假设您熟悉最初的Transformers模型。或者温柔的介绍，看看有注释的Transformers。在我们关注模特之间的高度差异之前。你可以在他们各自的文件中，更详细地检查他们。查看 Model Hub，在这里可以根据模型体系结构查看checkpoints。 Each one of the models in the library falls into one of the following categories: library 的每一个模型
使用HuggingFace的Transformers库的学习笔记(pipeline实战+官方readme文件的解读）
热门推荐
1996MZH的博客
06-29 1万+
https://github.com/huggingface/transformers transformers主要包含以下这些类 安装 pip install transformers #并安装pytorch或tf2.0中的至少一个 包含的模型结构 BERT (from Google) released with the paper BERT: Pre-training of Deep Bidirectional Transformers for Language Understandi.
Doubly Semi-supervised Multimodal Adversarial Learning for Classification, Generation and Retrieval
02-08
Doubly Semi-supervised Multimodal Adversarial Learning for Classification, Generation and Retrieval
Semi-Supervised Multimodal Relevance Vector Regression Improves Cognitive Performance Estimation from Imaging and Biological Biomarkers
02-09
In this paper, we present a novel semi-supervised multimodal relevance vector regression (SM-RVR) method for predicting clinical scores of neurological diseases from multimodal imaging and biological...
Hybrid Tensor Networks for Fully Supervised and SemiSupervised
07-19
Hybrid Tensor Networks for Fully Supervised and Semi-Supervised Hyperspectral Image Classification Hybrid Tensor Networks 是一种新的机器学习方法，旨在解决高光谱图像分类中的维度灾难和空间分辨率、光谱...
Nonnegative Sparse and KNN graph for semi-supervised learning
02-06
For the graph-based semi-supervised learning, the performance of a classifier is very sensitive to the structure of the graph. So constructing a good graph to represent data, a proper structure for ...
Supervised intensive topic models for emotion detection over short text
02-07
Supervised intensive topic models for emotion detection over short text
CVPR2023：BiFormer阅读笔记
记录
05-07 1万+
作者提出了一种新的动态稀疏注意力机制，通过双层路由来实现更灵活的算力分配，让每个Query处理语义上最相关的K-V对的一小部分。在此基础上，提出的BiFormer具有良好的性能和较高的计算效率。
赠书 | 新手指南——如何通过HuggingFace Transformer整合表格数据
AI科技大本营
11-26 1083
作者 |Ken Gu翻译| 火火酱~，责编 |晋兆雨出品 | AI科技大本营头图 |付费下载于视觉中国*文末有赠书福利不可否认，Transformer-based模型彻底改变了处理...
【AI视野·今日CV 计算机视觉论文速览 第156期】Mon, 9 Sep 2019
TomRen
09-18 1660
AI视野·今日CV --语义相关性和形状可变卷积的语义分割 --深度学习训练问题检测方法 --训练集搜索方法 --语义相关区域检测方法
【论文】Multimodal Transformer
Aries_young的博客
10-02 1899
【论文】Yu, Jun, Jing Li, Zhou Yu, and Qingming Huang. Multimodal transformer with multi-view visual representation for image captioning. （pdf） Why is MT model 以往流行的方式都是使用 encoder-decoder 结构，在 encoder使用 CNN 提取局部视觉特征，decoder 使用 RNN 根据视觉特征生成 caption，这些方式有如下的一.
2019_ACL_Multimodal Transformer for Unaligned Multimodal Language Sequences
tcn760的博客
04-07 3789
Multimodal Transformer for Unaligned Multimodal Language Sequences 论文地址：https://arxiv.org/abs/1906.00295 对多模态人类语言序列数据进行建模的主要挑战： 1.每种模态的序列的采样方法不同，因此不同数据是未对齐的（就是一段文字，采样后与之相匹配的视频片段或音频片段与之并未对其） 2.跨模态的元素之间的长期依赖关系（哭泣可能与之前所说过的话有关系） 本文提出MulT来解决上述问题。 通过电影评论的实例视频剪
多模态数据也能进行MAE？伯克利&谷歌提出M3AE，在图像和文本数据上进行MAE！最优掩蔽率可达75%，显著高于BERT的15%...
我爱计算机视觉
06-24 1056
关注公众号，发现CV技术之美本文分享论文『Multimodal Masked Autoencoders Learn Transferable Representations』，思考：多模态数据也能进行MAE？UC Berkeley&Google提出M3AE，在图像和文本数据上进行MAE！文本的最优掩蔽率可达75%，显著高于BERT的15%！详细信息如下：论文链接：...
2024Datawhale AI夏令营---基于术语词典干预的机器翻译挑战赛--学习笔记
最新发布
weixin_61573157的博客
07-15 1084
机器翻译（Machine Translation，简称MT）是自然语言处理领域的一个重要分支，其目标是将一种语言的文本自动转换为另一种语言的文本。机器翻译的发展可以追溯到20世纪50年代，经历了从基于规则的方法、统计方法到深度学习方法的演变过程。当前，机器翻译正朝着更加智能化和个性化方向发展。一方面，结合上下文理解、情感分析等技术，提高翻译的准确性和自然度；另一方面，通过用户反馈和个性化学习，提供更加符合用户需求的翻译服务。同时，跨语言信息检索、多模态翻译等新兴领域也正在成为研究热点。
Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation
04-05
Weakly supervised semantic segmentation is a challenging task where only image-level labels are available for training. In this paper, we propose a novel approach that utilizes regional semantic contrast and aggregation to improve the performance of weakly supervised semantic segmentation. First, we introduce a regional semantic contrast loss that encourages the model to focus on regions with high semantic contrast, i.e., regions where the difference between the foreground and background classes is high. Specifically, we compute the semantic contrast map by subtracting the predicted probability of the background class from the predicted probability of the foreground class, and then apply a Gaussian filter to smooth the map. Second, we propose a regional aggregation module that aggregates the features of each region to obtain a more representative feature representation. The module consists of a region proposal network that generates candidate regions based on the semantic contrast map, and a region-based pooling layer that pools the features within each region. Finally, we combine the regional semantic contrast loss and the regional aggregation module with a standard cross-entropy loss to train the model. Experimental results on the PASCAL VOC 2012 dataset demonstrate that our approach achieves state-of-the-art performance among weakly supervised methods, and even outperforms some fully supervised methods.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值