sklearn tfidf求余弦相似度_文本相似度的那些事

生活中，人们会产生大量的文本信息，而这些信息当中蕴含了巨大的信息，需要我们用一些技能去最大化的挖掘他的价值，从而反过来促进社会的发展，从而良性循环。

文本是一种高纬度的语义空间， 对其合理的分解，从而转换成数学问题， 利用向量进行计算，或者转换成分类问题进行求解， 或者转化成聚类问题。

在文本相似度这方面，现在主要的解决方案可以大致分为三大类。第一大类，给予关键词的传统方法。第二大类，将文本映射到向量空间，再利用余弦相似度。第三大类，利用深度学习的方法，进行特征embedding，比如基于用户点击数据的深度学习语义匹配模型DSSM， 基于卷积神经网络的ConvNet。

本文作为相似度的总结，对每一种都做简要概括。

基于关键字匹配，类似物理学两个铁球同时落地那个实验，所见见所得。说白了，就是把句子切分成多个小段文字，然后进行俩俩字符串比较。脑袋瓜转一下，当两个句子是完全成景象的，那么他们就完全不相似。

Jaccard 相似度，这个我们可以理解成，字重叠率，对与重叠部分与所有总和的比值，这个看起来要比上面的要合理些。

基于上面的传统方案，并不是太理想，之后，人们就转战到讲句子投影到向量空间的方法