![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读笔记
ccluqh
这个作者很懒,什么都没留下…
展开
-
XLNet: Generalized Autoregressive Pretraining for Language Understanding
代码:https://github.com/zihangdai/xlnetAbstract借助对双向上下文进行建模的能力,与基于自回归语言建模的预训练方法相比,像BERT这样的基于自动编码的去噪预训练方法可以获得更好的性能。但是,BERT依赖于使用masks,破坏输入,因此忽略了masks位置之间的依赖关系,并遭受了预训练-微调差异的困扰。鉴于这些优点和缺点,我们提出XLNet,这是一种广...原创 2020-01-14 09:11:05 · 222 阅读 · 0 评论 -
Fast and Accurate Recognition of Chinese Clinical Named Entities with Residual Dilated Convolutions
The left part has two residual blocks with different dilation factors. The right part is a standard convolutional layer with batch normalization [30]. The final output of the convolutional layers is...原创 2020-01-07 21:04:35 · 250 阅读 · 0 评论 -
Recognizing irregular entities in biomedical text via deep neural networks
论文链接:https://www.sciencedirect.com/science/article/pii/S0167865517302155#fig0001代码链接:https://github.com/foxlf823/nodner知乎笔记:https://zhuanlan.zhihu.com/p/47498650Highlights•Novel models are pro...原创 2020-01-07 18:20:00 · 293 阅读 · 2 评论 -
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
引入了ELMO embeddingELMo (Peters et al., 2018) and BERT (Devlin et al., 2019) can be used to generate contextualized word representations by combining internal states of different layers in neural l...原创 2020-01-07 17:19:51 · 321 阅读 · 0 评论 -
Improving RNN with A ention and Embedding for Adverse Drug Reactions
ABSTRACTWe add our embedding framework to a bi-directional long short-term memory (Bi-LSTM) neural network, and further study the e ect of using attention weights in neural networks for sequence lab...原创 2020-01-07 16:46:33 · 143 阅读 · 0 评论 -
An attention-based BiLSTM-CRF approach to document-level chemical named entity recognition
Abstract基于传统的机器学习,其性能在很大程度上取决于特征工程。而且,这些方法是具有标记不一致问题的句子级方法。我们提出了一种神经网络方法,(Att-BiLSTM-CRF)用于文档NER。 该方法利用通过Att获得的文档级全局信息来在文档中实施同一令牌的多个实例之间标记一致性1 Introduction在实践中,传统机器学习方法和深度学习方法都将NER视为句子级任务,即,...原创 2020-01-07 16:19:50 · 1436 阅读 · 1 评论 -
CollaboNet: collaboration of deep neural networks for biomedical named entity recognition
Abstract由于深度学习方法需要大量的训练数据,因此缺乏数据会影响性能。 BioNER数据集是稀缺资源,每个数据集仅涵盖实体类型的一小部分。此外,许多生物实体是多义性的,这是命名实体识别的主要障碍之一。为了解决数据不足和实体类型分类错误的问题,我们提出了CollaboNet,它利用了多个NER模型的组合。在CollaboNet中,将在不同数据集上训练的模型相互连接,以便目标模型从其他协...原创 2020-01-06 20:56:19 · 333 阅读 · 0 评论 -
HUNER: improving biomedical NER with pretraining
动机近期的一些研究表明,深度神经网络的应用使包括生物医学NER在内的命名实体识别(NER)有了最先进的技术。但是,对性能的影响和改进的鲁棒性主要取决于足够大的训练语料库的可用性,这在生物医学领域是一个问题,因为它通常是相当小的金标准语料库。结果我们通过预先训练一个深度神经网络(LSTM-CRF),然后进行一个针对特定语料库的相当短的微调阶段,来评估缓解数据稀疏性问题的不同方法。使用34种不...原创 2020-01-06 19:15:27 · 278 阅读 · 0 评论 -
BioBERT: a pre-trained biomedical language representation model for biomedical text mining
Abstract动机:随着生物医学文献数量的快速增长,生物医学文本挖掘变得越来越重要。随着自然语言处理(NLP)的进步,从生物医学文献中提取有价值的信息已在研究人员中广受欢迎,而深度学习促进了有效的生物医学文本挖掘模型的发展。但是,由于单词分布从普通领域的语料库转移到生物医学的语料库,直接将NLP的进步应用到生物医学的文本挖掘常常会产生不令人满意的结果。在本文中,我们研究了最近引入的预训练语...原创 2020-01-06 17:32:36 · 2261 阅读 · 0 评论 -
END-TO-END NAMED ENTITY RECOGNITION AND RELATION EXTRACTION USING PRE-TRAINED LANGUAGE MODELS
ABSTRACT最新的联合模型通常依赖于外部自然语言处理(NLP)工具,性能好坏取决于工具在该领域的好坏我们提出了一种神经网络,端到端模型,用于联合提取实体及其关系,该模型不依赖外部NLP工具,并且集成了一个大型的,经过预先训练的语言模型。由于我们模型的大部分参数都是经过预先训练的,并且避免重复进行自我关注,因此我们的模型可以快速进行训练。INTRODUCTIONIn the b...原创 2020-01-06 15:00:34 · 1272 阅读 · 5 评论