本文详细介绍了文本分类的步骤，包括样本选择、分词、停用词处理、特征向量构建、布隆过滤器应用及SVM训练。通过ICTCLAS进行分词，使用布隆过滤器降低运算量，选取互信息最高的5000个词作为特征，最后用libsvm训练模型，测试准确率为69.79%。未来计划改进包括降维方法、处理特征向量为0的情况以及探索其他权重计算和训练方法。
From:http://palydawn.blog.163.com/blog/static/18296905620124171155256/
Keywords: 文本分类 分词 停用词 文本特征 特征向量 布隆过滤器 ICTCLAS
1. 序言
最近一直在做文本分类的实验，查阅了很多文章和资料后，大概清楚了文本分类的整体流程。根据查阅到的资料，编写了一个简单的文本分类程序，对这些工作，在这篇文章中做个总结。
2. 文本分类过程
2.1 实验样本选择
训练样本和测试样本使用的是"tc-corpus-answer.rar"中的txt文件，很早之前下载的，忘了具体是什么了，好像是人民日报的语料库，在里面挑选了4种类型（C7-History， C19-Computer， C32-Agriculture， C39-Sports）的文档用来做训练和测试。
表1 测试样本和训练样本数
2.2 文本分类流程图
图1左边部分是对训练样本的处理过程。
图1右边部分是对测试样本的处理过程。
图1 文本分类过程
2.3 训练样本处理
2.3.1 训练样本分词
分词的目的是将文档分割成一个个的单词。实验中用的分词器是中科院的"ICTCLAS"，号称是最好的汉语分词器，分词率9x.xx%（具体多少忘了，反正标的很高），测试了一下，效果不是他说的那么好（9x.xx%肯定是达不到的），不过网上貌似也
Keywords: 文本分类 分词 停用词 文本特征 特征向量 布隆过滤器 ICTCLAS
1. 序言
最近一直在做文本分类的实验，查阅了很多文章和资料后，大概清楚了文本分类的整体流程。根据查阅到的资料，编写了一个简单的文本分类程序，对这些工作，在这篇文章中做个总结。
2. 文本分类过程
2.1 实验样本选择
训练样本和测试样本使用的是"tc-corpus-answer.rar"中的txt文件，很早之前下载的，忘了具体是什么了，好像是人民日报的语料库，在里面挑选了4种类型（C7-History， C19-Computer， C32-Agriculture， C39-Sports）的文档用来做训练和测试。
表1 测试样本和训练样本数
2.2 文本分类流程图
图1左边部分是对训练样本的处理过程。
图1右边部分是对测试样本的处理过程。
图1 文本分类过程
2.3 训练样本处理
2.3.1 训练样本分词
分词的目的是将文档分割成一个个的单词。实验中用的分词器是中科院的"ICTCLAS"，号称是最好的汉语分词器，分词率9x.xx%（具体多少忘了，反正标的很高），测试了一下，效果不是他说的那么好（9x.xx%肯定是达不到的），不过网上貌似也
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
