自然语言处理系列三十三》 语义相似度》同义词词林》算法原理

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】

自然语言处理系列三十三

同义词词林算法原理

同义词词林主要用来衡量词和词之间的语义相似度，是人工整理的一个词典。《同义词词林》（亦称《义类词典》，以下简称《词林》）是由梅家驹等学者编纂的一部对汉语词汇按语义全面分类的词典，收录词语近7万条。《词林》根据汉语的特点和使用原则，确定了词的语义分类原：以词义为主，兼顾词类，并充分注意题材的集中。它将词义分为大类、中类、小类三级，共分12个大类（A类为人，B类为物，C类为时间与空间，D类为抽象事物，E类为特征，F类为动作，G类为心理活动，H类为活动，I类为现象与状态，J类为关联，K类为助语，L类为敬语），94个中类，1　428个小类，小类下再以同义词原则划分词群，每个词群以一标题词立目，共3　925个标题词。《词林》语义结构可用树型结构来表示，如图8.1所示。

图8.1 《词林》语义空间
编纂《词林》的初衷是提供从词义查词的工具，以便从中挑选适当的词语。作为一个语义分类体系，它也存在一些局限，如词典收词数量有限、复合词收录很少、词典更新滞后等等。若直接采用它作为同义词词典，显然不能满足实际需要。本书进行同义词的挖掘，是利用《词林》语义体系，并且将《词林》作为同义词底表来实现的。这样不仅可以依据《词林》作为底表的功能，直接识别出大量的、以词素形式出现的同义词，还可以依据其作为语义体系的功能，挖掘出大量的复合词形式的同义词。
同义词词林扩展版的词典比较大，这里给大家截取前面一部分展示：
Aa01A01= 人 士 人物 人士 人氏 人选
Aa01A02= 人类 生人 全人类 新人
Aa01A03= 人手 人员 人口 人丁 口 食指 生齿 职员
Aa01A04= 劳力 劳动力 工作者 血汗
Aa01A05= 匹夫 个人 个体 局部 片面 私人 一面 个别 小我 小我私家 部分 一边 一壁 私家 单方
Aa01A06= 家伙 东西 货色 厮 崽子 兔崽子 狗崽子 小子 杂种 畜生 混蛋 王八蛋 竖子 鼠辈 小崽子 用具 器材 器械 对象 牲畜 货品 货物 物品 忘八 工具 牲口 器具 方向 目标 宗旨
Aa01A07= 者 手 匠 客 主 子 家 夫 翁 汉 员 分子 鬼 货 棍 徒 份子
Aa01A08= 每人 各