接着上一篇。在正式的尝试使用文本分类算法分类文本的时候,我们得先准备两件事情: 一,准备适量的训练文本;二,选择合适的方法将这些训练文本进行表示(也就是将文本换一种方式表示)
大家都知道文本其实就是很多词组成的文章啊。所以很自然的就想到用一系列词来表示文本。比如我这篇文章,将其分词之后的结果就是:
(“接着”,“上”,“一篇”,“在”,“正式”…)
这里有很多分词工具可以办到,如果不知道使用何种分词算法,可以参照这篇博文(以前写的搜索引擎的分词部分,果然可以拿来用用。其实搜索和文本分类也有很多想通的地方呢):
http://www.cnblogs.com/dacc123/p/8431369.html
那么分好词就可以了吗?显然不是的可以看到上面的词中有"上",“在” 这些介词,很明显这些词是不能代表一篇文章特征,所以我们需要去停用词,去完之后,首先文章的词汇量可以减少很多的,然后呢特征也比以前要明显一点(对计算机来说)
去完停用词之后就可以了吗?显然更不是的。每一篇文章都会有个侧重点,比如我写了一篇搜索引擎的文章,那么文章中"搜索",“索引”,“算法”。这类的词出现的概率是不是很高,而"程序",“计算机”,“时间效率"这些词也可能出现在文章中,但是这些词机会完全比不上"搜索”,"索引"这些词厉害了啊,计算机更注重的是这些词呀。所以分词之后