余弦定理实现新闻自动分类算法

前言

余弦定理，这个在初中课本中就出现过的公式，恐怕没有人不知道的吧。但是另外一个概念，可能不是很多的人会听说过，他叫空间向量，一般用e表示，高中课本中有专门讲过这个东西，有了余弦定理和向量空间，我们就可以做许多有意思的事情了，利用余弦定理计算文本相似度的算法就是其中一个很典型的例子。当然这个话题太老，说的人太多，没有什么新意，恰巧周末阅读了吴军博士的<<数学之美>>这门书，书中讲到了利用余弦定理实现新闻分类，于是就索性完成这个算法的初步模型。感兴趣的可以继续往下看。

算法背景

在以往，如果对一则新闻进行归类，一般使用的都是人工分类的办法，大体上看一下标题和首尾两段文字，就能知道新闻是属于财经的，体育的又或者是健康类的。但是在当今信息爆炸的时代，这显然是不可能完成的任务，所以我们急切的相用机器自己帮我们”分类“。最好的形式是我给计算机提供大量的已分类好的数据，等强大的计算机大脑训练好了这个分类模型，后边的事情就是他来完成了。看起来这好像很高深，很困难的样子，但是其实我们自己也可以写一个，只是效果可能不会那么好。

分类器实现原理

新闻自动分类器实现的本质也是利用余弦定理比较文本的相似度，于是这个问题的难点就在于这个特征向量哪里来，怎么去获得。特征向量，特征向量，关键两个字在于特征，新闻的特征就在于他的关键词，我的简单理解就是专业性的词语，换句话说，就是属于某类新闻特有的词语，比如金融类的新闻，关键词一般就是股票啊，公司啊，上市啊等等词语。这些词的寻找可以通过统计词频的方式实现，最后统计出来的关键词，进行降序排列，一个关键词就代表一个新的维度。 那么新的问题又来了，我要统计词频，那么就得首先进行分词，要把每个新闻句子的主谓宾统统挖掘出来啊，好像这个工作比我整个算法还要复杂的样子。OK，其实已经有人已经帮我们把这个问题解决了，在这个算法中我使用的是中科大的ICTCLAS分词系统，效果非常棒，举个例子，下面是我原始的新闻内容：

教育部副部长：教育公平是社会公平重要基础
7月23日，教育部党组副书记、副部长杜玉波为全国学联全体代表作《教育综合改革与青年学生成长成才》的专题报告。 中国青年网记者 张炎良 摄
人民网北京7月24日电（记者 贺迎春 实习生 王斯慧

经过分词系统处理后的分词效果：

教育部/nt 副/b 部长/n ：/wm 教育/v 公平/an 是/vshi 社会/n 公平/a 重要/a 基础/n 
7月/t 23日/t ，/wd 教育部/nt 党组/n 副/b 书记/n 、/wn 副/b 部长/n 杜玉波/nr 为/p 全国学联/nt 全体/n 代表作/n 《/wkz 教育/vn 综合/vn 改革/vn 与/cc 青年/n 学生/n 成长/vi 成才/vi 》/wky 的/ude1 专题/n 报告/n 。/wj  中国/ns 青年/n 网/n 记者/n  张/q 炎/ng 良/d  摄/vg 
人民/n 网/n 北京/ns 7月/t 24日/t 电/n （/wkz 记者/n  贺/vg 迎春/n  实习生/n  王斯慧/nr ）/wky 昨日/t ，/wd 教育部/nt 副/b 部长

OK，有了这个分词的结果之后，后面的事情就水到渠成了。

算法的实现步骤

1、给定训练的新闻数据集。

2、通过分词系统统