文本分类特征选取

本文探讨了文本分类中的特征向量获取,通常使用词频向量和TFIDF表示。特征选取方法包括卡方统计、信息增益和互信息等,而TFIDF虽非特征选取方法,但在提取关键词中有一定作用。此外,提到了wordToVector技术,该技术可将文本映射为向量,尽管具体含义不明,但在文本表示上有良好效果。
摘要由CSDN通过智能技术生成

虽然现在文本分类似乎已经是比较老的话题,而且我要说的也是当前大家接触过的。在做这个问题时有过一些疑惑,就当给自己解疑吧,也给有同样疑惑的人参考参考,有些自己做了一点实验,但也不全,如果有不严谨的地方,欢迎批评与指教。

1、文本特征向量到底是怎么得到的

一个文本被切分为一个一个的词,文章由这样的词的词频向量来表示,现在一般会采用TFIDF值来表示。

特征向量:当涉及文本分类时,需要提取出用于分类的特征,特征的构成是提取出来的关键字的TFIDF值,这些关键词是由从每篇文章中选取出来的关键词组成的

2、特征选取与特征表示

特征选取方法有很多:卡方统计、信息增益、互信息,SVD等,特征表示一般为TFIDF值。TFIDF不是一个特征选取方法,很多情况下,人们会用TFIDF来选取关键词,而且也能起到一定效果,确实TFIDF能在一定程度上反映词的信息,但是它只是表示这个词的一个值,并不能反映该词在总体上的重要程度。

如今还有比较火的wordToVector,将文本映射到一个向量中,这个向量每一个特

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值