- 博客(6)
- 收藏
- 关注
RSS订阅原创 论文解读BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation,
简介众所周知bert的encoder 形式不适合做生成式任务。transformer decode形式在生成式方面有着非常好的表现。bart 基本就是一个标准的sequence to sequence形式的transformer。其在文本摘要，问答 等方面有着sota 的表现。模型介绍bart 基本是标准的sequence to sequence形式的transformer，只不过其中的激活函数换成了gelu。tensorflow bert源码中def gelu(input_tensor):
2022-03-14 18:43:26
2438
1
原创 论文解读SimCSE: Simple Contrastive Learning of Sentence Embeddings
简介这是一篇方法很简单效果却十分好的论文，直接将语义相似度sota提升了好几个百分点。背景对比学习Contrastive learning aims to learn effective representation by pulling semantically close neighbors together and pushing apart non-neighbors (Hadsell et al., 2006) 对比学习可以拉开不相似的item的距离，缩小相似的item的距离。损失如上所
2022-03-13 23:11:37
892
原创 从0构建词语to vector
word embedding 已经很常见也很容易实现，但是在各种应用场景下，特别是搜索情况下，一些名词不应该分开embedding，比如。小米 ，安踏。等等。如果用户搜索小米，分词器都是以单个词作为分隔，所以如果对名词embedding需要重新构建分词器。分词采用jieba 分词...
2022-03-11 15:34:54
1387
原创 论文解读VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
简介vlm是一个task-agnostic multi- modal pre-training approach。无特定任务的多模态预训练方法。用于视频理解。主要贡献如下：In summary, the main contributions of this paper are as follows: (1) we propose to pre-train a task- agnostic encoder for video understanding; (2) we introduce masked m
2022-03-04 13:14:54
1064
原创 论文解读UNITER: UNiversal Image-TExt Representation Learning
论文解读UNITER: UNiversal Image-TExt Representation Learning简介结构解读预训练方法简介以后争取保持一周3更及以上。UNITER是一个图文表征学习的预训练模型。废话不多说，直接上干货。结构解读其结构十分明了。一个image embedder，一个text embedder。然后加多个transormer layer。image embedder 还是采用的faster rcnn，注意的是faster rcnn提取完特征后又加上了location信息
2022-03-04 09:57:58
4127
原创 论文解读ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
ViLBERT 论文解读
2022-03-03 20:40:44
3156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人