本文发表在2015 IEEE International Conference on Bioinformatics and Biomedicine (BTBM)
大多数文字嵌入方法都是通用的,它们以一个单词为基本单元,并根据单词的外部语境学习嵌入。然而,在生物医学文本挖掘中,有许多生物医学实体和句法块包含丰富的域信息,并且词的语义也与这些信息密切相关。因此,本文提出了一个生物医学领域特定的词嵌入模型,通过结合词干,块和实体来训练词嵌入。实验结果表明,在生物医学文本挖掘任务的深度学习方法中,本文的生物医学领域特定词嵌入总体上优于其他通用词嵌入。
整体框架包含三个组件:tokenization,sentence analysis,jointly training of embeddings.:
A.Tokenization
将句子处理为去除了空格括号等特殊字符的原子单位。
B.Text Analysis
词语级别级别采用Skip-gram
词干级别用于识别名词单复数等同词不同编码问题。
句法块级别与词语级别平行,将几个独立连续连续单词组成的具有独立意思的语句视为一个整体。
实体级别和句法块级别的初衷一致,用于更精细的理解生物医学文本。
在文章中使用GENIA Dependency parser (GDep)提取词干、句法块和实体。
C.Jointly Training of Biomedical Embeddings
蓝框中的所有单位,包括单词,词干,块和实体,均使用红色框中的标准目标词进行联合训练。训练采用hierarchical softmax ,
训练过程:
- 从MedLine上下载了5我爱你篇文档进行训练,分别采用CBOW、Skip-gram、gloVe和本文模型输出的词向量输入RBM进行测试。
- 在BioCreative II GM 数据集上进行测试命名实体识别。
通过实验比较本文的模型具有更好的效果。