文本分类

文本分类

分类过程

把所有文本分为训练样本和测试样本

训练样本：

• 样本分词： 把样本用分词工具全部进行分词
• 去停用词： 去掉一些无用的词语，如那、这些、明天等等
• 提取初步特征
• 计算特征互信息
• 按照互信息的大小排序，获得本次实验特征值
• 训练分类器（SVM）

测试样本

• 测试集分词处理
• 去停用词
• 计算样本的特征向量

这里不再按照分类进行介绍，直接按照训练样本的所需步骤逐个详细介绍，然后介绍如何做测试，然后谈一谈可以改进的地方。

样本分词

　　样本分词有很多工具，有中科院的”ICTCLAS”、python中的jieba、东北大学的NiuParse，等等。这里不再赘述，直接使用分词工具就可以了。

去停用词

去停用词有几种常见的方法，一是直接逐个暴力遍历，一个是布隆过滤器

暴力遍历

这里不再赘述，分词后，对于每个训练样本文件遍历每个词，然后匹对停用词表，如果不在停用词表中就保存。否则删除

布隆过滤器

布隆过滤器的详细基本讲解在http://blog.csdn.net/jiaomeng/article/details/1495500 。可以详细的阅读。

在