weka使用训练集分类测试集_weka文本分类之二 批量过滤

在前一篇文本分类基础之上，由于在文本分类过程中 需要分开测试集训练集，因此采用weka为过滤器配置的批量过滤BatchFiltering，网上资料很少，因此经过实验可以实现，对训练集 测试集分开。测试集按照训练集的特征进行下面的运算：

1.训练集和测试集生成向量空间

java weka.core.converters.TextDirectoryLoader -dir C:\Users\HP_xiaochao\Desktop\微博关键词搜索\segment > C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\train_keyword_wb.arff

java weka.core.converters.TextDirectoryLoader -dir C:\Users\HP_xiaochao\Desktop\微博关键词搜索\test > C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\test_keyword_wb.arff

2.批量生成词向量

实用过滤器的批量过滤命令 测试集 训练集统一

java weka.filters.unsupervised.attribute.StringToWordVector -R first-last -W 1000 -prune-rate -1.0 -C -T -I -N 0 -stemmer weka.core.stemmers.NullStemmer -stopwords-handler weka.core.stopwords.Null -M 1 -tokenizer "weka.core.tokenizers.WordTokenizer -delimiters \" \\r\\n\\t.,;:\\\'\\\"()?!\"" -b -i C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\train_keyword_wb.arff -o C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\train_keyword_wb_vsm0.arff -r C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\test_keyword_wb.arff -s C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\test_keyword_wb_vsm0.arff

3.批量特征选择

java weka.filters.supervised.attribute.AttributeSelection -E "weka.attributeSelection.InfoGainAttributeEval " -S "weka.attributeSelection.Ranker -T -1.7976931348623157E308 -N 500" -b -i C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\train_keyword_wb_vsm0.arff -o C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\train_keyword_wb_vsm0_as.arff -r C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\test_keyword_wb_vsm0.arff -s C:\Users\HP_xiaochao\Desktop\微博关键词搜索\weka\test_keyword_wb_vsm0_as.arff

如果直接运行上面的命令会报错，因为weka并没有把词向量数据文件 中的第一个属性 当成类标签，因此需要把该属性变成类标签后再执行：在weka中打开数据文件，edit 把第一个属性 当作类属性，weka默认是把左右一个属性当作类标签的

4.分开测试 训练

接下来的过程 就是通常的分类过程了。作者不贴出来了。