文本分类中的词语重要性以及stopwords与词典

文本数据分类常用的分类方法是朴素贝叶斯。
针对特定的文本数据集使用朴素贝叶斯分类时常遇到两个问题：
1）如何排列数据集中的各词语的分类能力
2）如何发现有针对性的停用词集合与用户词典
针对已经给定标签的文本数据集，有两种思路：
1）对文本数据分词后，计算出word在各个分类中的条件概率组成数列，求数列的变异系数c，然后计算(c+1)*TF-IDF(这里的TF是指word在整个数据集中)，结果可以作为word对数据集分类能力的强弱，将较强分类能力且没有业务含义的word作为stopword，或者结合当前业务通过修改用户词典调整该word。此方法相当于先计算出word的分类能力排序。
2）使用朴素贝叶斯对数据集分类以后，计算在分类错误的结果中错误作用较大的word，对于分类错误的样本，计算每个词语的偏向错误类别的作用大小（相比正确分类条件概率的差距）并排序，将错误作用很大并且没有实际含义的word作为stopword，或者结合当前业务通过修改用户词典调整该word。