深度学习
Lucy_Qian
在家流浪
展开
-
文本太长,Transformer用不了怎么办
长文档预训练模型基于Transformer的模型已经引领NLP领域,然而基于Transformer的方法随着输入文本长度的增加,计算量剧增,并且Transformer能处理的句子长度受限,已有的方法大多使用截断的方式,这会导致信息损失,因此如何实现长文本的预训练是目前的一大难题。长文档的预训练模型 Longformer: The Long-Document Transformer,2020论文主要采用局部注意力和全局注意力结合的机制避免以往直接对长文本进行切分导致的信息损失,Longf.原创 2020-09-27 16:39:58 · 3893 阅读 · 0 评论 -
买标注数据太贵!自己标太麻烦了! 自监督对比学习帮帮你
大数据时代数据多,然而有标注的数据非常有限,并且对于一些专业性强的领域,标注数据也是非常困难。因此如何去学习数据自身的特性,比较数据间的差异,通过表示每个数据的独特特征来省去标注的过程。对比学习就是一次比较好的尝试。对比学习介绍对比学习是通过学习对两个事物的相似或不相似进行编码来构建表征。最简单的方法是正样本是通过作为给定样本的数据增强生成的,负样本是batch中随机采样的,目标是判别否来源于同一样本。对比学习的优势1. 无需标签信息,在大规模无监督数据中自动构造监督...原创 2020-10-15 14:18:25 · 676 阅读 · 1 评论 -
域适应方法:解决目标任务数据不足
域适应是对于存在一些有少量或者没有标注数据的领域完成针对性任务的一个有效手段,目前对于很多任务只要有大量标注数据都能达到比较好的效果,然而标注数据的成本是高昂的,尤其是对某些专业性强的术语多的领域,标注就更困难。因此如何将已经在别的领域训练过得模型用到其他领域非常值得研究。01 域适应情感分类论文:Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning,AAAI2020以往.原创 2020-09-25 23:56:03 · 4210 阅读 · 0 评论 -
2019年Philip S. Yu团队的图神经网络综述
使用graph来表示对象之间的复杂关系和依赖关系,然而graph数据的复杂已有的机器学习算法很难处理,所以使用深度学习方法来处理。A Comprehensive Survey on Graph Neural Networks论文回顾图神经网络(GNN)在文本挖掘和机器学习领域的发展,将GNN划分为递归图神经网络、卷积图神经网络、图自编码和时空图神经网络四类。此外还讨论图神经网络跨各种领域的应用、总结开源代码、数据集和图神经网络评价指标。最后给出可能的研究方向。作者提到基于欧氏距离计算的数...转载 2020-09-20 21:56:37 · 4353 阅读 · 0 评论