###############国庆基本一个人渡过,无聊研究下特征算则算法,以备后用###############
不管对文档分类还是聚类,特征化的表述一个文档,让计算机理解这篇文档说的是什么都是最重要的一个任务,那么用什么东西去表达这样一个非结构化的文档最为合适呢? Gerard Salton 在1969年提出的Vector Space Model-空间向量模型得到了广泛的应用,这是一个用来表示文本文件的代数模型,向量中每一维都是代表一个词的信息。 那么在表达一个文本的时候选择那些词? 下面介绍一个最简单的筛选方法——词频。
词频——一个词在一个文档中出现的次数,这是一个很简单但是又非常实用的东西,比如常常能从一个嘴里听到基金,股票,交易,大盘,涨幅,加仓等这些词,那么基本可以断定这个人是一个搞金融的人,或者这个人是一个股票研究爱好者。所以直观的表达一个文本可以通过各个词在文章中出现的频次。
以sogou实验室提供的语料数据为例,选取了金融,IT产品,体育,娱乐,股票这五类的文档,每种类型的文档数如下:
20026 business.sohu.com
144435 product.it.sohu.com
36964 sports.sohu.com
32132 stock.sohu.com
1208