![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
域自适应
Lucy_Qian
在家流浪
展开
-
文本太长,Transformer用不了怎么办
长文档预训练模型基于Transformer的模型已经引领NLP领域,然而基于Transformer的方法随着输入文本长度的增加,计算量剧增,并且Transformer能处理的句子长度受限,已有的方法大多使用截断的方式,这会导致信息损失,因此如何实现长文本的预训练是目前的一大难题。长文档的预训练模型 Longformer: The Long-Document Transformer,2020论文主要采用局部注意力和全局注意力结合的机制避免以往直接对长文本进行切分导致的信息损失,Longf.原创 2020-09-27 16:39:58 · 3983 阅读 · 0 评论 -
买标注数据太贵!自己标太麻烦了! 自监督对比学习帮帮你
大数据时代数据多,然而有标注的数据非常有限,并且对于一些专业性强的领域,标注数据也是非常困难。因此如何去学习数据自身的特性,比较数据间的差异,通过表示每个数据的独特特征来省去标注的过程。对比学习就是一次比较好的尝试。对比学习介绍对比学习是通过学习对两个事物的相似或不相似进行编码来构建表征。最简单的方法是正样本是通过作为给定样本的数据增强生成的,负样本是batch中随机采样的,目标是判别否来源于同一样本。对比学习的优势1. 无需标签信息,在大规模无监督数据中自动构造监督...原创 2020-10-15 14:18:25 · 718 阅读 · 1 评论