文本分类是一个很广泛的话题,可以是将词划分为不同时态,将人名分为男女,也可以是将整篇文章划分为不同主题。
文本分类主要应用有监督分类技术,其结构如下图所示。
以下介绍三种监督学习的方法:
决策树
参考:https://blog.csdn.net/Line2333/article/details/105143018
朴素贝叶斯分类器
朴素贝叶斯分类器原理十分简单,其核心主要是条件概率。
因为我们通过features产生label,因此我们需要知道P(label|feature)。根据贝叶斯定理
因此我们就可以直接计算在给定特征下,某个标签的概率。当我们有多个特征时,我们也只需要将每个特征下特定标签的条件概率相乘,便可以得到最终每个标签的概率。最后选出概率最大的那个标签即可。
由以上分析,我们可以发现朴素贝叶斯分类器是假定各个特征之间是相互独立的,因此我们将之称为“朴素”。
同时如果有一个特征下某个标签的概率为0,这样就会造成最终概率直接为0,而导致其他特征丝毫起不到作用,因此,我们通常还可以将其平滑化。一般的,我们可以给予该0概率标签一个较小的概率,而不是0。
最大熵分类器
未完待续