NLP 文本相似度（一）

一份文本，从结构上划分可以是：字、词、句、段、篇。文本比较的粒度是词，一篇文章，可以划分成N个不同的词，选取其中包含重要信息的M个词作为这片文章的特征。M个词构成了M维的向量，两个文本之间的比较就是两个M维向量之间的比较。

余弦相似度

向量之间如何比较？我们可以采用余弦相似度，其描述如下：

• 一个向量空间中两个向量夹角的余弦值可以作为衡量两个个体之间差异的大小；
• 余弦值越接近1，夹角趋于0，表明两个向量越相似。

对于N维的向量a,b，其余弦相似度为：

对于两个句子A、B之间的比较，其步骤如下：

• 对A、B进行分词；
• 列出所有词（A、B词的并集）；
• 计算词频；
• 词频