文本特征属性选择

本文探讨了在机器学习中的文本特征属性选择的重要性,介绍了TF-IDF、信息增益、卡方检验和互信息四种常见方法。TF-IDF通过词频和逆向文件频率量化特征重要性,但可能忽视某些重要信息。信息增益关注特征对整体系统的贡献,适用于全局特征选择。卡方检验通过计算特征与类别的关联性评估特征,但可能偏袒低频词。互信息衡量特征与类别的相关性,但低频词可能引入噪声。
摘要由CSDN通过智能技术生成

今天,来学习文本的特征属性选择,在机器学习中,特征属性的选择通常关系到训练结果的可靠性,一个好的

特征属性通常能起到满意的分类效果。凡是特征选择,总是在将特征的重要程度量化后再进行选择,而如何量

化特征的重要性,就成了各种方法间最大的不同。接下来就介绍如何有效地进行文本的特征属性选择。

 

Contents

 

   1. TF-IDF与特征属性选择

   2. 信息增益与特征属性选择

   3. 卡方检验与特征属性选择

   4. 互信息与特征属性选择

 

 

文本分类作为一种有效的信息检索和信息过滤的关键技术,能按预定义的类别将待分类的文本进行归类。文本

分类中常用到向量空间模型(VSM,然而高维的向量空间模型严重影响了计算机的处理速度,因此需要对文

本的向量进行降维,那么就需要对文本进行特征属性选择。

 

目前在文本分类领域中常用的文本特征属性选择算法有:TF-IDF信息增益卡方检验互信息等。

 

 

1. TF-IDF与特征属性选择

 

   TF词频(Term Frequency)表示词条在某个文档d中出现的频率。

   IDF逆向文件频率(Inverse Document Frequency),如果包含词条t的文档越少,那么IDF

   越大,则说明词条t具有很好的类别区分能力。

 

   TF-IDF算法的主要思想是:如果某个词或短语在某一篇文章中的出现频率TF越高,而且在其它文章中很

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值