数学与算法《文档相似性 - 余弦定理》

TF-IDF
零：寒暄寒暄
昨天看了一天的CNN，结果被深度学习的深度给深深地深刻地深埋了（是叹服了），今天想换换脑子，去综结一下之前学习的《数学之美》里面介绍的算法和数学，下一篇再搞几篇深度学习的学习笔记。
手里没机器，慢慢先学习，等我回国了再搞机器。

一：深入浅出
现在，我有两篇文档，如何计算两篇文档的相似程度的呢？

因此，这两句话变成了两个向量，每个元素是词语出现的个数，现在问题就变成了两个向量之间的相似性对比，那么就可以用到余弦定理了。

两个向量之间的夹角越小，那么两个向量之间的方向越相近，也相似。计算式如下：

余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。

二：拓展
上面是讲了两句话的相似性，我们只能计算词频，但是对于文章我们还可以计算出，IDF值的话，我们就会用TF-IDF值找出两篇文章的相似性。截取每篇文章前N个关键词词语，组成一个集合（TF运算去除了文章的长短差异），根据这个集合，生成两个文章的代表向量，每个元素是TF-IDF值，最后就用余弦相似性进行运算。