文本分类——特征选择概述

最新推荐文章于 2024-08-18 09:00:00 发布

xsdjj

最新推荐文章于 2024-08-18 09:00:00 发布

阅读量1.2w

点赞数 9

分类专栏：机器学习文本分类特征选择文章标签：机器学习文本分类特征选择

本文链接：https://blog.csdn.net/xsdjj/article/details/83788232

版权

特征选择在文本分类中至关重要，可以降低问题规模并提高分类性能。常见的方法包括文档频率(DF)、卡方校验(CHI)、信息增益(IG)和互信息(MI)。DF通过设置阈值筛选词组；CHI衡量类别与词组的关联度；IG根据词组带来的信息量选择；MI则度量词组与类别的相关性。这些方法各有优缺点，适用于不同场景。

摘要由CSDN通过智能技术生成

特征选择概述

在向量空间模型中，文本可以选择字、词组、短语、甚至“概念”等多种元素表示。这些元素用来表征文本的性质，区别文本的属性，因此这些元素可以被称为文本的特征。在文本数据集上一般含有数万甚至数十万个不同的词组，如此庞大的词组构成的向量规模惊人，计算机运算非常困难。进行特征选择，对文本分类具有重要的意义。特征选择就是要选择那些最能表征文本含义的词组元素。特征选择不仅可以降低问题的规模，还有助于分类性能的改善。选取不同的特征对文本分类系统的性能有不同程度的影响。已提出的文本分类特征选择方法比较多，常用的方法有：文档频率(Document Frequency，DF)、信息增益(Information Gain，IG)、卡方( χ²)校验(CHI)和互信息(Mutual Information，MI)等方法。另外特征抽取也是一种特征降维技术，特征抽取通过将原始的特征进行变换运算，形成新的特征。

常见模型

文档频率(DF)

某一词组出现在文档中的频率称为文档频率(DF)。计算形式如式所示：

基于文档频率的特征选择一般过程：
1) 设定文档频率DF的上界阈值∂_u 和下界阈值∂_l；
2) 统计训练数据集中词组的文档频率；
3) ∀ DF(t_k)< ∂_l：由于词组t_k 在训练集中出现的频率过低，不具有代表性，因此从特征空间中去掉词组t_k；
4) ∀ DF(t_k)< ∂_u ：由于词组t_k 在训练集中出现的频率过高，不具有区分度，因此从特征空间中去掉词组t_k ；
所以最终选取的作为特征的词组必须满足条件∂_l≤ DF(t_k)≤ ∂_u ：。
基于文档频率的特征选择方法，一方面可以降低特征向量的复杂度；另一方面还可能提高分类的准确率，因为按此种特征选择方法可以删除一部分噪声数据。虽然DF方法简便、易实现