七种方法计算文本相似度方法

简单讲解

基于关键词的空间向量模型的算法，将用户的喜好以文档描述并转换成向量模型，对商品也是这么处理，然后再通过计算商品文档和用户偏好文档的余弦相似度。

文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。

比如舆论控制，我们假设你开发了一个微博网站，并且已经把世界上骂人的句子都已经收录进了数据库，那么当一个用户发微博时会先跟骂人句子的数据库进行比较，如果符合里面的句子就不让用户发出。

通常情况下，很多工程师就会想到用like或者where的sql语法去查找。可是当情况更为复杂呢？

数据库存放了“你是个坏人”，用户要发“小明是个坏人”，这时应该怎么办呢？

最简单的办法就是通过判断文本的相似程度来决定用户发的内容是否是骂人的。

本章节就几种简单的判断文本相似性的算法来讲解，帮助大家更好的理解。

相关算法

1、余弦相似度

余弦（余弦函数），三角函数的一种。在Rt△ABC（直角三角形）中，∠C=90°，角A的余弦是它的邻边比三角形的斜边，即cosA=b/c，也可写为cosA=AC/AB。余弦函数：f（x）=cosx（x∈R）

这是一个非常常见的算法，相信大家都应该学过余弦定理了，简单来说这个算法就是通过计算两个向量的夹角余弦值来评估他们的相似度。

对于二维空间，根