![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读
文章平均质量分 90
xiyou__
长期接python编程咨询和编写辅助。
展开
-
GPT系列学习笔记:GPT、GPT2、GPT3
GPT、GPT2、GPT3的区别和联系。原创 2022-08-19 11:22:58 · 9302 阅读 · 2 评论 -
DL论文词汇积累(持更)
深度学习领域论文词汇的阅读与积累。原创 2022-06-25 14:24:11 · 246 阅读 · 0 评论 -
多模态bert的变形:VisualBERT 和 BERT 的异同
BERTVisualBERT备注全称Bidirectional Encoder Representations from Transformers区别于传统Transformer使用 双向 (bidirectional) self-attention集成了 BERT, Transformer-based model for NLP, object proposals systems such as Faster-RCNN预训练数据集wikiCOCO ima...原创 2021-12-18 16:29:53 · 817 阅读 · 0 评论 -
bert的变形:RoBERTa 和 BERT 的异同
RoBERTa和BERT对比。原创 2021-12-28 16:10:49 · 5863 阅读 · 0 评论 -
论文阅读:An Empirical Study of Training End-to-End Vision-and-Language Transformers
摘要提出Multimodal End-to-end TransformER framework,即METER,通过这个框架研究如何以一个端到端的方式( in an end-to-end manner )设计和预训练一个完全基于transformer的视觉语言模型。端到端指的是输入是原始数据,输出是最后的结果,整个模型过程相当于黑箱操作;相反,非端到端的方法,数据的预处理部分是单独的模块,需要人工处理(如人工标注数据,人工提取图片特征)(笔者注)具体地,模型从多个维度被解剖(dissect)为:视原创 2022-02-25 18:52:40 · 2769 阅读 · 0 评论