面向中医古籍文本的领域自适应性无监督分词

摘要

中医古籍文本分词是中医古籍结构化表示及深度挖掘的基础性工作。有监督的中医古籍文本分词简易可行，但存在耗费大量人力物力、专业门槛高、主观性强、扩展性不好等问题。为此改进TextRank算法，提出ConnectRank算法，根据字符连通度实现中医古籍无监督分词。基于《伤寒杂病论》《黄帝内经》《难经》等700篇中医古籍文献语料设计实验。实验结果表明，该模型在中医古籍文本分词中较其他无监督分词模型有更好的分词效果，比传统的无监督分词方法提高了11.2%。

0 引言

自《黄帝内经》起至今，中医学已延绵千年，其有效性被世人验证。中医古籍文献记录了丰富的理论知识和临床经验，采用自然语言处理技术对中医古籍文献进行挖掘具有重要意义，而中医古籍文本分词研究是中医古籍文本自然语言处理研究最基础的工作之一。

中医古籍文本分词与现代文分词有所不同。中医古籍文本包含大量的中医专业术语[1]