自然语言处理的中文文本相似度

前言

    人与计算机的交互过程中，如果能提供人类的自然语言形式来进行交流，那么人与计算机就能更加亲密友好。而要实现这一机制就需要自然语言处理来处理，一般来说自然语言处理会涉及几个学科：计算机科学、语言学、统计学和数学等。

    不同语言的自然语言处理也存在差别，对于中文来说，很多时候都无法直接套用英语自然语言处理中相对成熟的理论。有很多基础工作也是需要我们自己去做，而这包括了中文相似度。

相似度

    中文相似度按照长度可以有字与字的相似度、单词与单词的相似度、句子与句子的相似度、段落与段落的相似度和文章与文章的相似度。

    传统相似度的衡量计算一般可以使用编辑距离算法、余弦值法、SimHash法、n-gram法、汉明距离法、最长公共子串法、最长公共子序列法等等。

    相似度计算方法总的可以归为两类，一类是基于统计的方法，一般用于句子段落这些较大粒度文本。另一类是基于语义的方法，一般用于词语或句子等较小粒度文本。

应用场景

    中文相似度应用广泛，

• 比如在信息检索中，信息检索系统中为了能召回更多与检索词