文本分类学习（二）文本表示

接着上一篇。在正式的尝试使用文本分类算法分类文本的时候，我们得先准备两件事情: 一，准备适量的训练文本；二，选择合适的方法将这些训练文本进行表示（也就是将文本换一种方式表示）

大家都知道文本其实就是很多词组成的文章啊。所以很自然的就想到用一系列词来表示文本。比如我这篇文章，将其分词之后的结果就是：

（“接着”,“上”,“一篇”,“在”,“正式”…）

这里有很多分词工具可以办到，如果不知道使用何种分词算法，可以参照这篇博文（以前写的搜索引擎的分词部分，果然可以拿来用用。其实搜索和文本分类也有很多想通的地方呢）：

http://www.cnblogs.com/dacc123/p/8431369.html

那么分好词就可以了吗？显然不是的可以看到上面的词中有"上"，“在” 这些介词，很明显这些词是不能代表一篇文章特征，所以我们需要去停用词，去完之后，首先文章的词汇量可以减少很多的，然后呢特征也比以前要明显一点（对计算机来说）

去完停用词之后就可以了吗？显然更不是的。每一篇文章都会有个侧重点，比如我写了一篇搜索引擎的文章，那么文章中"搜索"，“索引”，“算法”。这类的词出现的概率是不是很高，而"程序"，“计算机”，“时间效率"这些词也可能出现在文章中，但是这些词机会完全比不上"搜索”，"索引"这些词厉害了啊，计算机更注重的是这些词呀。所以分词之后