NLP paper
文章平均质量分 85
NLP paper
辉辉小学生
要真正的喜欢。
展开
-
Paper小计:BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translati
Abstract我们提出了BART,一个去噪的自动编码器。BART通过(1)用任意噪声函数破坏文本进行训练,(2)学习一个模型来重建原始文本。它使用了一个标准的基于转换器的神经机器翻译架构,尽管它很简单,但可以看作是推广BERT(由于双向编码器)、GPT(带有从左到右的解码器)和许多其他更新的预训练方案。我们评估了许多噪声方法,通过随机打乱原始句子的顺序和使用一种新的填充方案来找到最佳性能,其中文本的跨度被替换为一个掩码标记。BART在微调文本生成时特别有效,但对理解任务也很有效。 它将RoBERTa的原创 2022-04-29 20:56:42 · 574 阅读 · 0 评论 -
Paper小记:BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
Abstract原创 2022-04-13 20:07:43 · 98 阅读 · 0 评论 -
Paper小计:Attention Is All You Need
Abstract 传统的序列模型是编码器,解码器由递归或循环网络构成,解码器编码器之间由attention连接传递;transformer的编码解码器主体都是attention构成。 各效果更好:并行,需要的训练更少。Introduction循环:并行能力差,长距离时序的信息保存要么耗费内存,要么无法保存需要的信息。transformer(attention):并行,绘制输入输出的全局依赖关系。Background ...原创 2022-04-12 22:44:03 · 222 阅读 · 0 评论