python文本分类_教你用python做文本分类

什么是文本分类

一个文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个。通俗点说，就是拿一篇文章，问计算机这文章要说的究竟是体育，经济还是教育。文本分类是一个监督学习的过程，常见的应用就是新闻分类，情感分析等等。其中涉及到机器学习，数据挖掘等领域的许多关键技术：分词，特征抽取，特征选择，降维，交叉验证，模型调参，模型评价等等，掌握了这个有助于加深对机器学习的的理解。这次我们用python的scikit-learn模块实现文本分类。

文本分类的过程

首先是获取数据集，为了方便，我们直接使用scikit-learn的datasets模块自带的20类新闻数据集，并且取了其中四个类别的新闻

从datasets获取到一般都是一个Bunch对象，Bunch是一种类似于python字典的格式，我们拿到任何一个数据集之后都可以探索数据集，输出Bunch对象的键keys看看有什么，看看数据集的描述，数据的内容等等。

接下来就要进行分词和去停用词，分词就是将句子切分成单词，这些词语就是后面用来训练模型的特征。切分成单词之后就要去除停用词，停用词一些无意义的词，比如‘the’，‘a’这些词对于文本分类没有帮助，网上可以找到中英文的停用词表来帮助去掉停用词。由于英文句子中的单词之间有空格，所以英文分词十分简单。如果处理的是中文语料，jieba分词可以帮助我们方便地进行中文分词。除了分词之外，中英文文本分类处理基本上是一样的。

计算机怎么读懂文本呢，接下来进就需要行文本表示，我们常用向量空间模型(VSM)。简单的解释VSM模型，例如，经过分词后得到文档1=，标记为1类ÿ