数学之美系列 12 - 余弦定理和新闻的分类

最新推荐文章于 2022-10-25 11:12:13 发布

cowboy_wz

最新推荐文章于 2022-10-25 11:12:13 发布

阅读量947

点赞数

分类专栏：文本分类文章标签： google 算法工具 c

本文链接：https://blog.csdn.net/chl033/article/details/4774026

版权

文本分类专栏收录该内容

61 篇文章 1 订阅

订阅专栏

数学之美系列 12 - 余弦定理和新闻的分类

余弦定理和新闻的分类似乎是两件八杆子打不着的事，但是它们确有紧密的联系。具体说，新闻的分类很大程度上依靠余弦定理。

Google 的新闻是自动分类和整理的。所谓新闻的分类无非是要把相似的新闻放到一类中。计算机其实读不懂新闻，它只能快速计算。这就要求我们设计一个算法来算出任意两篇新闻的相似性。为了做到这一点，我们需要想办法用一组数字来描述一篇新闻。

“如何度量网页相关性”TF/IDF /TF/IDF)TF/IDF TF/IDF

------------------
1 阿
2 啊
3 阿斗
4 阿姨
...
789 服装
....
64000 做作

64,000 TF/IDF

TF/IDF
==============
1 0
2 0.0034
3 0
4 0.00052
5 0
...
789 0.034
...
64000 0.075

64,000 64,000如果两篇新闻的特征向量相近，则对应的新闻内容相似，它们应当归在一类，反之亦然。

学过向量代数的人都知道，向量实际上是多维空间中有方向的线段。如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角了。
a, b c A, B C A --

b c

b c X Y
x1,x2,...,x64000 和
y1,y2,...,y64000,
那么它们夹角的余弦等于，

当两条新闻向量夹角的余弦等于一时，这两条新闻完全重复（用这个办法可以删除重复的网页）；当夹角的余弦接近于一时，两条新闻相似，从而可以归成一类；夹角的余弦越小，两条新闻越不相关。

我们在中学学习余弦定理时，恐怕很难想象它可以用来对新闻进行分类。在这里，我们再一次看到数学工具的用途。