【论文阅读笔记】Training Word Embeddings for Deep Learning in Biomedical Text Mining Tasks

本文发表在2015 IEEE International Conference on Bioinformatics and Biomedicine (BTBM)

大多数文字嵌入方法都是通用的，它们以一个单词为基本单元，并根据单词的外部语境学习嵌入。然而，在生物医学文本挖掘中，有许多生物医学实体和句法块包含丰富的域信息，并且词的语义也与这些信息密切相关。因此，本文提出了一个生物医学领域特定的词嵌入模型，通过结合词干，块和实体来训练词嵌入。实验结果表明，在生物医学文本挖掘任务的深度学习方法中，本文的生物医学领域特定词嵌入总体上优于其他通用词嵌入。

整体框架包含三个组件:tokenization,sentence analysis，jointly training of embeddings.：

 

A.Tokenization

将句子处理为去除了空格括号等特殊字符的原子单位。

B.Text Analysis

词语级别级别采用Skip-gram

词干级别用于识别名词单复数等同词不同编码问题。

句法块级别与词语级别平行，将几个独立连续连续单词组成的具有独立意思的语句视为一个整体。

实体级别和句法块级别的初衷一致，用于更精细的理解生物医学文本。

在文章中使用GENIA Dependency parser (GDep)提取词干、句法块和实体。

C.Jointly Training of Biomedical Embeddings

蓝框中的所有单位，包括单词，词干，块和实体，均使用红色框中的标准目标词进行联合训练。训练采用hierarchical softmax ，

 

训练过程：

1. 从MedLine上下载了5我爱你篇文档进行训练，分别采用CBOW、Skip-gram、gloVe和本文模型输出的词向量输入RBM进行测试。
2. 在BioCreative II GM 数据集上进行测试命名实体识别。

通过实验比较本文的模型具有更好的效果。