预训练模型专题
文章平均质量分 93
各种预训练模型的论文笔记、代码笔记、使用笔记
料理菌
自然语言处理,机器学习
展开
-
预训练模型专题_Bart_论文学习笔记
Bart模型作为一种Seq2Seq结构的预训练模型,是由Facebook于2019年10月提出。Bart模型的论文为:《BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension》Bart模型代码:transformer库Bart模型Bart模型为一种基于去噪自编码器seq2seq结构的预训练模型。Bart模型在预训练阶段,核心的预训练原创 2021-01-20 19:17:15 · 11731 阅读 · 8 评论 -
预训练模型专题_GPT2_模型代码学习笔记
最近将huggingface的transformers库中的GPT2模型源码详细学习了一遍,因此将学习过程中,对于GPT2模型源码的一些学习笔记记录在此篇博客之中,以供之后参考。GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型,其论文原文为 language_models_are_unsupervised_multitask_learners一、GPT2与GPT的区别...原创 2020-12-23 22:22:11 · 13745 阅读 · 27 评论