klearn 文本分类_详细解析scikit-learn进行文本分类

使用scikit-learn进行文本分类

多标签分类格式

对于多标签分类问题而言，一个样本可能同时属于多个类别。如一个新闻属于多个话题。这种情况下，因变量yy需要使用一个矩阵表达出来。

而多类别分类指的是y的可能取值大于2，但是y所属类别是唯一的。它与多标签分类问题是有严格区别的。所有的scikit-learn分类器都是默认支持多类别分类的。但是，当你需要自己修改算法的时候，也是可以使用scikit-learn实现多类别分类的前期数据准备的。

多类别或多标签分类问题，有两种构建分类器的策略：One-vs-All及One-vs-One。下面，通过一些例子进行演示如何实现这两类策略。

#from sklearn.preprocessing import MultiLabelBinarizery = [[2,3,4],[2],[0,1,3],[0,1,2,3,4],[0,1,2]]MultiLabelBinarizer().fit_transform(y)array([[0, 0, 1, 1, 1], [0, 0, 1, 0, 0], [1, 1, 0, 1, 0], [1, 1, 1, 1, 1], [1, 1, 1, 0, 0]])One-Vs-The-Rest策略

这个策略同时也称为One-vs-all策略，即通过构造K个判别式(K为类别的个数)，第ii个判别式将样本归为第ii个类别或非第ii个类别。这种分类方法虽然比较耗时间，但是能够通过每个类别对应的判别式获得关于该类别的直观理解(如文本分类中每个话题可以通过只属于该类别的高频特征词区分)。

多类别分类学习

from sklearn import datasetsfrom sklearn.multiclass import OneVsRestClassi