本文总结了多种相似性度量方法，包括余弦相似度、Jaccard系数、TF-IDF、曼哈顿距离、欧几里得距离和明可夫斯基距离。余弦相似度适合稠密空间，Jaccard和TF-IDF适用于稀疏空间。Jaccard系数通过计算两个集合的交集与并集比例来评估相似度。TF-IDF在文本检索和分类任务中有良好表现。曼哈顿距离通过加法计算，适合快速运算；欧几里得距离衡量连续数据的绝对距离，但需确保各维度指标在同一尺度。明可夫斯基距离是一般化的距离公式，包括曼哈顿和欧几里得距离。
cosine
Jaccard系数(杰卡德系数)
cosine更适合稠密空间,Jaccard和tfidf都适合稀疏空间.
狭义Jaccard相似度，计算两个集合之间的相似程度，元素的“取值”为0或1
对集合A和B，Jaccard相似度计算如下：
Jaccard（A, B）= |A intersectB| / |A union B|
相似度数值在[0, 1]之间，当A==B的时候，为1. 优缺点，就是元素的取值只能是0或者1，无法利用更丰富的信息
由相似度，可以转换成Jaccard距离：
Jaccard distance （A, B） = 1- Jaccard（A, B）
TF-IDF
大概估计文本相似度时，使用TF就可以了。当我们使用文本相似度进行检索的类似场景时（如搜索引擎中的query relevence的计算），此时TF-IDF更好一些。
- tf/tf-idf为每一个词汇计算得到一个数字，而word embedding将词汇表示成向量
- tf/tf-idf在文本分类的任务中表现更好一些，而word embedding的方法更适用于来判断上下文的语义信息（这可能是由word embedding的计算方法决定的）。
曼哈顿距离
如果直接使用AB的欧氏距离(欧几里德距离：在二维和三维空间中的欧
最低0.47元/天 解锁文章
扫一扫
6113
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
