论文阅读
文章平均质量分 95
白衣少年不留白
这个作者很懒,什么都没留下…
展开
-
论文阅读:Rethinking Self-Attention: Towards Interpretability in Neural Parsing
注意机制允许模型保持可解释性,提升了NLP任务的表现。自我注意是目前广泛使用的一种注意类型,但由于存在大量的注意分布,其可解释性较差。最近的研究表明,模型表示可以受益于特定标签的信息,同时促进对预测的解释。因此作者引入标签注意层——一种新的自我注意形式,注意头代表标签。实验结果表明,作者的新模型在 PTB和CTB上都获得了最先进的结果。此外,与现有的工作相比,作者的模型需要更少的self-attention层。最后,作者发现标签注意头学习句法类别之间的关系,并显示分析错误的路径。原创 2022-05-08 20:59:55 · 928 阅读 · 0 评论 -
论文阅读:预训练模型:过去,现在和未来 Pre-Trained Models: Past, Present and Future(上)
BERT和GPT等大规模预训练模型(PTMs)最近取得了巨大的成功,成为人工智能领域的一个里程碑。在本文中,我们深入研究了预训练的历史,特别是它与迁移学习和自我监督学习的特殊关系,以揭示预训练在人工智能发展光谱中的关键地位。此外,我们全面回顾了大规模预训练模型的最新突破。原创 2022-05-07 17:16:53 · 1304 阅读 · 1 评论 -
论文阅读:Cross-Domain Transfer Learning for Dependency Parsing
近年来,依赖分析的研究重点是提高域内数据的准确性,并取得了显著的进展。然而,现实世界与单个场景数据集不同,后者充满了无数未被数据集覆盖的场景,即域外的场景。因此,在域内数据上执行良好的解析器在域外数据上的性能通常会显著下降。因此,为了使已有的具有良好性能的域内解析器适应新的域场景,跨域迁移学习技术是解决解析中的域问题的关键。在本文中,我们研究了两种跨域迁移学习场景:半监督和无监督跨域迁移学习。原创 2022-05-05 22:30:29 · 352 阅读 · 0 评论 -
论文阅读:Domain Information Enhanced Dependency Parser
文章目录摘要:依赖解析已经成为自然语言处理(NLP)领域的一项重要任务。监督方法近年来取得了很大的成功。然而,当测试域与训练域不同时,这些模型可能会遭受显著的性能损失。在本文中,作者采用双仿射解析器作为基准。为了探究跨域依赖句法分析中特定于域的信息和独立于域的信息,作者分别应用了集成自训练方法和对抗学习。最后,作者结合了两种策略来增强基准模型(双仿射模型),最终作者的系统在NLPCC2019的跨域依赖解析共享任务中排名第一。简介:...原创 2022-05-01 23:14:38 · 339 阅读 · 0 评论