- 博客(3)
- 收藏
- 关注
RSS订阅翻译 2019 ACL ERNIE Enhanced Language Representation with Informative Entities 阅读笔记
自然语言表示模型如BERT预训练模型能够在大量的纯文本语料中获取丰富的语义信息，然后通过微调改进各种NLP任务的效果。然而，已有的预训练语言模型很少考虑结合知识图谱，其提供丰富的结构化知识，有利于语言理解。我们认为KG中的信息实体能够增强语言表示。本文中我们利用了大规模的文本语料和KG训练一个增强的语言表示模型（ERNIE），它能够同时充分利用词汇、语义和知识信息。实验表明ERNIE在各种知识驱动的任务中获得巨大提升，同时在其它通用NLP任务上能与BERT竞争。完整版我写到知乎里了，没有在这边..
2020-07-20 23:11:06
181
翻译 2020 ICLR Learning Cross-Context Entity Representations from Text 阅读笔记
在语言建模任务中，基于局部上下文预测单词或单词块，对于学习单词嵌入和与上下文相关的短语表示非常有效。因为将世界知识编码为机器可读的知识库或人类可读的百科全书这一努力倾向于以实体为中心，所以我们研究了fill-in-the-blank（填空）任务从文本上下文（实体被提及）中学习实体上下文独立的表示。我们证明了对神经模型的大规模训练使我们能够学习高质量的实体表示，并在四个方面证明了结果：（1）现有的实体级类型基准，包括在TypeNet上比之前减少了64％的错误；（2）新的少样本类型重建任务；（3）现有的实体链.
2020-07-20 23:08:36
206
翻译 2020 ACL Improving Entity Linking through Semantic Reinforced Entity Embeddings 阅读笔记
实体嵌入是指像词嵌入一样用一个单独的向量表示每个实体的不同方面，是实体链接模型中一个关键组件。现有的实体嵌入从规范的维基文章和目标实体周围的局部上下文学习，这样的实体嵌入是有效的，但对于链接模型来学习上下文共性而言太独特了（类似过拟合？）。本文提出一个简单有效的模型FGS2EE，把细粒度的语义信息融入实体嵌入来减少独特性，且促进上下文共性的学习。FGS2EE首先用语义类型词的嵌入生成语义嵌入，然后通过线性聚合将其与已有的实体嵌入结合。大量实验证明了这样嵌入的有效性。 完整版我写到知...
2020-07-18 01:42:08
289
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人