最强算法攻略，MIT006深度解析，不定时更新 Lec02 Document Distance

文本相似度

它常用于搜索引擎中，MIT举的例子是Google，但为了更好的理解，这里以百度为例，思路其实差不多。

例如：有一天你躺在床上刷抖音，刷到了一篇鸡汤，幡然醒悟励志成为一名算法大师，于是你满怀激情上百度搜索‘如何从小白成为一个算法大佬’，那么百度会给你列出这些内容

显然百度没有搜索到与这个文本完全一样的内容，但是它给了你许多类似的搜索，与‘如何从小白成为一个算法大佬’相似的文本，这就是Document Distance所做的，不过百度肯定不只用了这个算法.

对于Document Distance算法的理解

首先这个算法有两个默认的前提

• 单词组成的序列 （类似于你可以搜索 how to become handsome,但你不能乱输 asjkhbfjkashbfjksadg这种东西）
• 由字母，数字，字符组成（A-Z 0-9）

现在假设我有两个文本
D1 = ‘the dog’
D2 = ‘the cat’

如何衡量这两个文本的相似度呢？

如果我们可以将文本抽象成一个向量，那么向量的相似度有一个东西可以衡量----内积(inner product)
内积是一个标量，反应着两个向量的’相似度’,两个向量越相似，内积越大。

那么如何将文本转换成向量呢？

这里偷个懒直接上截图
D1和D2一共有3个单词，我们可以将其抽象成一个三维坐标，每个单词为一个坐标轴

为了看的方便我将两个文本粘了下来
D1 = ‘the dog’
D2 = ‘the cat’
可以发现D1有一个单词 the 和一个单词 dog 所以
D1 = 1∗the轴 + 0∗cat轴 + 1∗dog轴 可以理解成（1，0，1）
同理
D2 = 1∗the轴 + 1∗cat轴 + 0∗dog轴 可以理解成（1，1，0）

如何表示内积？

内积公式：a∙b=a∗b∗cos⁡θ（a向量乘以b向量在a向量上的投影）

我们需要用到一点微积分的知识，而积分在离散的计算机里则为求和运算

我们可以抽象成
文本的内积 = 每个单词的内积和

D1向量中的’The’出现了一次，长度即为1
D2向量在D1向量上’The’的投影即为D2里出现’The’的次数也为1
两者相乘可以理解为’the’这个子向量的内积，两个文本的内积即为所有单词的内积之和（类似于微积分）

'dog’在D1为1，D2在D1上’dog’的投影为0，因为D2没有dog这个word
'cat’在D1为0，D2在D1上’cat’的投影为1

求出D1和D2的内积为：1∗1 + 1∗0 + 0∗1 = 1

但是光用内积可以衡量两个文本的相似度吗？

再举一个例子
D3 = this is the cat
D4 = that is the dog
那么D3和D4的内积为2，而D1和D2的内积为1，但其实它们都是50%的相似度，但因为文本长度不一样，所以内积不一样。
所以需要一个统一的衡量标准，用它们的内积除以它们的长度。

有没有觉得很熟悉？这时打开我们小学一年级的课本，发现了一个笔记

没错其实这就是两个向量夹角的余弦值
当角度为0度时（cos⁡θ = 1），两个文本完全一样，当角度为90度时（cos⁡θ = 0）两个文本完全不一样，这样就统一了衡量标准。

所以这个算法的完整步骤应该是

• 将文本划分成一个个单词
• 找出每个单词在每个文本中的频率
• 通过内积公式求出相似度

最后如果你觉得还不错就点个赞吧，求求了
附MIT python算法实现

import math
    # math.acos(x) is the arccosine of x.
    # math.sqrt(x) is the square root of x.

import string

import sys

##################################
# Operation 1: read a text file ##
##################################
读取文件里的文本
def read_file(filename):
    try:
        f = open(filename, 'r')
        return f.read()
    except IOError:
        print "Error opening or reading input file: ",filename
        sys.exit()

#################################################
# Operation 2: split the text lines into words ##
#################################################
将给定的文本解析成一个个单词，并返回单词的集合
def get_words_from_line_list(text):
    text = text.translate(translation_table)
    word_list = text.split()
    return word_list

##############################################
# Operation 3: count frequency of each word ##
##############################################
def count_frequency(word_list):
计算单词出现的频率
    D = {}
    for new_word in word_list:
        if new_word in D:
            D[new_word] = D[new_word]+1
        else:
            D[new_word] = 1
    return D

#############################################
## compute word frequencies for input file ##
#############################################
def word_frequencies_for_file(filename):
返回一个字典样式为[单词，出现的次数]
    line_list = read_file(filename)
    word_list = get_words_from_line_list(line_list)
    freq_mapping = count_frequency(word_list)

    print "File",filename,":",
    print len(line_list),"lines,",
    print len(word_list),"words,",
    print len(freq_mapping),"distinct words"

    return freq_mapping

def inner_product(D1,D2):
计算内积
    sum = 0.0
    for key in D1:
        if key in D2:
            sum += D1[key] * D2[key]
    return sum

def vector_angle(D1,D2):
计算角度的arccos
    numerator = inner_product(D1,D2)
    denominator = math.sqrt(inner_product(D1,D1)*inner_product(D2,D2))
    return math.acos(numerator/denominator)

def main():
    if len(sys.argv) != 3:
        print "Usage: docdist8.py filename_1 filename_2"
    else:
        filename_1 = sys.argv[1]
        filename_2 = sys.argv[2]
        sorted_word_list_1 = word_frequencies_for_file(filename_1)
        sorted_word_list_2 = word_frequencies_for_file(filename_2)
        distance = vector_angle(sorted_word_list_1,sorted_word_list_2)
        print "The distance between the documents is: %0.6f (radians)"%distance

if __name__ == "__main__":
    import profile
    profile.run("main()")