文本分类的相关知识

最新推荐文章于 2023-02-25 17:15:34 发布

y0929

最新推荐文章于 2023-02-25 17:15:34 发布

阅读量332

点赞数

文章标签：文本分类

本文章并非完全自己的思想，都是近来所看加总结，记录下来加深自己的理解。

特征提取=特征项的选择+特征权重的计算。

特征项的选择：根据某个评价指标，独立的对原始特征项（词语）进行评分排序，从中选取一些评分最高的特征项，过滤掉其余的特征项。

特征权重的计算：依据一个词的重要程度，与类别内的词频成正比（代表性），与所有类别中出现的次数成反比（区分度）。

当选用数学方法进行特征提取时，决定文本特征提取效果的最主要因素是评估函数的质量。常用的评估函数有如下方法。

TF-IDF :TF词频，计算该词描述文档内容的能力；IDF逆向文档频率，用于计算该词区分文档的能力。思想：一个词的重要程度，与类别内的词频成正比（代表性），与所有类别中出现的次数成反比（区分度）。但是TF-IDF的精度不是特别高，也没有体现单词的位置信息。
词频TF：一个词在文档中出现的次数。将词频小于某一阈值的词删除。思想：出现频次低的词对过滤的影响也比较小。但是不宜大幅删减词汇，因为频次低的词对过滤的影响也比较小。
文档频次法（DF）:在整个数据集中，有多少个文本包含这个单词。思想：计算每个特征的文档频次，并根据阈值去除文档频次特别低（没有代表性）和特别高的特征（没有区分度）。简单，计算量小，速度快，时间复杂度和文本数量成线性关系，非常适合超大规模文本数据集的特征选择。
互信息方法：
期望交叉熵：
信息增益：
卡方校验：
二次信息熵（QEMI）
文本证据权（The weight of Evidence for Text）
优势率（Odds Ratio）
遗传算法（Genetic Algorithm）
主成分分析（PCA）
模拟退火算法（Simulating Anneal）
N-Gram算法
等

传统的特征选择方法大多采用以上特征评估函数进行特征权重的计算。这些评估函数基于统计学原理，一是需要庞大的训练集获得对分类其关键作用的特征，二是基于评估函数的特征提取方法建立在特征独立的假设基础上，在实际中很难成立。

传统的文本分类方法：大部分的机器学习方法，例如：Naive Bayes，KNN，SVM，集合类方法，最大熵，神经网络等
深度学习的文本分类方法：卷积神经网络（TextCNN）,循环神经网络（TextRNN）,TextRNN+Attention，TextRCNN(TextRNN+CNN)。

首先分析数据，理解数据；

代码coding，记录实验并分析；

阅读paper，理解原理，动手实践。

别人的推荐：

关注