AcceptGo的博客

HuggingFace学习记录

引入一个称之为VL-BEiT的vision-language基础模型，其是通过生成预训练学习到的双向多模态Transformer。这里使用一个共享Transformer对单模态和多模态数据进行masked prediction（掩盖预测）。具体地，对image-text pairs执行masked vision-language modeling，对texts执行masked language modeling，对image执行masked image modeling。......

文章目录摘要Introduction方法2.1 图像表示2.1.1 Image Patch（图像块）2.1.2 Visual Token2.2 Backbone Network：Image Transformer2.3 预训练BEiT：Masked Image Modeling2.4 From the Perspective of VAE（从VAE视角进行解释）2.5 预训练设置2.6 Fine-Tuning BEiT on Downstream Vision Tasks（下游任务微调）3 实验3.1 图像

文章目录Setup准备数据集处理和可视化数据集拆分数据集为分层训练集和测试集训练和评估的实现Feedforward Network（FFN）构建一个Baseline神经网络模型为baseline模型准备数据训练baseline classifier检查baseline模型预测构建图神经网络模型为图模型准备数据图卷积层的实现图神经网络节点分类训练GNN模型GNN模型预测各种机器学习应用中的许多数据集在其实体之间具有结构关系，可以表示为图。 比如社交和通信网络分析、流量预测和欺诈检测等。 图表示学习旨在为用于

论文：https://arxiv.org/abs/2010.11929Code：https://github.com/google-research/vision_transformertimm：https://github.com/rwightman/pytorch-image-models/blob/master/timm/models/vision_transformer.pyPublish：ICLR2021