Hero19980512的博客

论文阅读：SMedBERT: A Knowledge-Enhanced Pre-trained Language Model with Structured Semantics for Medical Text Mining来源：ACL 2021下载地址：https://arxiv.org/pdf/2108.08983.pdfAbstract最近，通过注入知识事实以增强其语言理解能力，预训练语言模型（PLM）的性能得到了显着提高。对于医学领域，背景知识源尤其有用，因为医学术语海量，它们之间的复杂关系

综述阅读：A guide to deep learning in healthcare来源：2019 nature medicine下载地址：https://www.researchgate.net/publication/330203264_A_guide_to_deep_learning_in_healthcareAbstract在这里，我们将介绍用于医疗保健的深度学习技术，重点讨论计算机视觉、自然语言处理（only）、强化学习和通用方法中的深度学习。 我们描述了这些计算技术如何影响医学的几个关

论文阅读：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension来源：ACL 2020下载地址：https://aclanthology.org/2020.acl-main.703.pdfAbstract我们提出了 BART，一种用于预训练序列到序列模型的去噪自动编码器。BART 通过以下方式进行训练：(1) 使用任意噪声函数破

论文阅读：UnitedQA A Hybrid Approach for Open Domain Question Answering来源：ACL 2021下载地址：https://arxiv.org/pdf/2101.00178.pdfAbstract迄今为止，针对开放域 QA 的检索器-阅读器框架下的大多数近期工作都专注于抽取式或生成式阅读器。 在本文中，我们研究了一种利用两种模型优势的混合方法。通过结合来自两个阅读器的答案的混合方法可以有效地利用提取和生成答案推理策略，并优于单一模型以及同质集成

论文阅读：Can Generative Pre-trained Language Models Serve As Knowledge Bases for Closed-book QA来源：ACL 2021下载地址：https://arxiv.org/pdf/2106.01561.pdfAbstract最近的工作使用预先训练的语言模型 (PLM) 作为回答开放问题的知识库是一个值得研究的问题。 然而，现有的工作在使用具有高测试训练重叠的小基准时受到限制。 我们使用 SQuAD 构建了一个新的闭卷 QA

论文阅读：Question Answering Over Temporal Knowledge Graphs我们首先在我们的新数据集上应用大型预训练的基于 LM 的 QA 方法。 然后，我们将时间和非时间的 KG 嵌入注入到这些 LM 中，并观察到性能的显着提高。 我们还提出了一种新方法 CRONKGQA，它能够利用 Temporal KG Embeddings 来执行 TKGQA。 在我们的实验中，CRONKGQA 优于所有基线。这些结果表明，KG 嵌入可以有效地用于执行时间 KGQA，尽管在涉及复杂

论文阅读：A Semantic-based Method for Unsupervised Commonsense Question Answering来源：ACL 2021下载地址：https://arxiv.org/pdf/2105.14781v1.pdf本文主要贡献：提出了一种基于语义的问答模型（SEQA），用于在无监督环境中进行稳健的常识问答。本文的方法不是直接对答案选择进行评分，而是首先生成一些可能的答案，然后通过考虑每个可能的答案与每个选择之间的语义相似性来选择正确的选择。本文对四

论文阅读：Generation-Augmented Retrieval for Open-Domain Question Answering来源：ACL 2021下载地址：https://arxiv.org/pdf/2009.08553.pdf本文主要贡献：(1) 我们提出了 GenerationAugmented Retrieval (GAR)，它通过文本生成以启发式发现的相关上下文来增强查询，而无需外部监督或耗时的下游反馈。(2) 我们表明，与使用原始查询或现有的无监督 QE 方法相比，使用生

论文阅读：End-to-End Training of Neural Retrievers for Open-Domain Question Answering来源：ACL 2021下载地址：https://arxiv.org/pdf/2101.00408.pdf代码地址：https: //github.com/NVIDIA/Megatron-LM本文主要贡献：我们证明了我们提出的使用 ICT 对检索器进行无监督预训练的方法，然后进行监督微调，与之前自然问题和 TriviaQA 数据集上的最佳结

论文阅读：Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip Prediction来源：ACL 2021下载地址：https://yifan-gao.github.io/data/acl21.pdf本文主要贡献：我们提出了一种证据聚合方法，该方法可以有效地使用大量段落来揭示对模棱两可问题的更多候选解释。我们提出了一个标记删除预训练任务，以减少预训练和微调问题消歧之间的不匹配。基于插入的加

论文阅读：Explanations for CommonsenseQA ：New Dataset and Models来源：ACL 2021下载地址：https://aclanthology.org/2021.acl-long.238.pdf本文主要贡献：对于构成解释的内容，我们提出了一组特征（反驳完整、全面、最小、连贯）。 对于任何给定的（问题、正确答案选择、错误答案选择）元组，我们的解释构成了一组积极的属性来证明正确的答案选择和一组否定的属性来反驳不正确的答案。我们对最近发布的 Common