NLP
文章平均质量分 94
Marlowee
文盲
展开
-
【多模态论文解读】Align before Fuse: Vision and Language Representation Learning with Momentum Distillation
本文介绍了一种名为ALBEF的高效视觉语言模型,采用了对比学习预训练的方式,能够学习到图像和文本之间的丰富关系,为视觉问答、图像分类、图像生成等下游任务提供更好的表征。ALBEF主要由三部分组成:image encoder、text encoder&multimodal encoder、momentum model。它的预训练目标主要包括对比损失、掩码语言重建任务和图像文本匹配任务的损失函数。此外,作者还提出了一种Momentum Distillation的方法,用于从动量模型生成的伪目标中学习,以便有效学原创 2023-04-13 21:22:53 · 3022 阅读 · 1 评论 -
【NLP Learning】Transformer Encoder续集之网络结构源码解读
这篇文章我们主要从Transformer的Encoder源码入手,读懂Encoder的结构原创 2022-11-17 09:20:17 · 440 阅读 · 0 评论 -
【PytorchLearning】NLP入门笔记之手写Transformer Encoder内部机制
本文主要从Transformer Encoder中Word embedding生成、Position embedding机制和self-attention中的mask机制三个方面的源码及原理进行解读原创 2022-11-01 20:16:34 · 597 阅读 · 0 评论 -
【ViT详解】Vision Transformer网络结构及代码解读
Vit网络结构及源码详解原创 2022-08-30 21:18:13 · 4249 阅读 · 2 评论 -
NLP Learning | 初识NLP
本文从NLP的pipeline入手,介绍了几个集成小工具,详解了NLP数据预处理及词向量转化部分原创 2022-07-12 20:23:06 · 1830 阅读 · 0 评论