虽然现在文本分类似乎已经是比较老的话题,而且我要说的也是当前大家接触过的。在做这个问题时有过一些疑惑,就当给自己解疑吧,也给有同样疑惑的人参考参考,有些自己做了一点实验,但也不全,如果有不严谨的地方,欢迎批评与指教。
1、文本特征向量到底是怎么得到的
一个文本被切分为一个一个的词,文章由这样的词的词频向量来表示,现在一般会采用TFIDF值来表示。
特征向量:当涉及文本分类时,需要提取出用于分类的特征,特征的构成是提取出来的关键字的TFIDF值,这些关键词是由从每篇文章中选取出来的关键词组成的
2、特征选取与特征表示
特征选取方法有很多:卡方统计、信息增益、互信息,SVD等,特征表示一般为TFIDF值。TFIDF不是一个特征选取方法,很多情况下,人们会用TFIDF来选取关键词,而且也能起到一定效果,确实TFIDF能在一定程度上反映词的信息,但是它只是表示这个词的一个值,并不能反映该词在总体上的重要程度。
如今还有比较火的wordToVector,将文本映射到一个向量中,这个向量每一个特