python文本分类 top1如何计算_手把手教你在Python中实现文本分类（附代码、数据集）...

作者： Shivam Bansal 翻译：申利彬 校对：丁楠雅

本文约2300字，建议阅读8分钟。

本文将详细介绍文本分类问题并用Python实现这个过程。

引言

文本分类是商业问题中常见的自然语言处理任务，目标是自动将文本文件分到一个或多个已定义好的类别中。文本分类的一些例子如下：

分析社交媒体中的大众情感

鉴别垃圾邮件和非垃圾邮件

自动标注客户问询

将新闻文章按主题分类

目录

本文将详细介绍文本分类问题并用Python实现这个过程：

文本分类是有监督学习的一个例子，它使用包含文本文档和标签的数据集来训练一个分类器。端到端的文本分类训练主要由三个部分组成：

1. 准备数据集：第一步是准备数据集，包括加载数据集和执行基本预处理，然后把数据集分为训练集和验证集。

特征工程：第二步是特征工程，将原始数据集被转换为用于训练机器学习模型的平坦特征(flat features)，并从现有数据特征创建新的特征。

2. 模型训练：最后一步是建模，利用标注数据集训练机器学习模型。

3. 进一步提高分类器性能：本文还将讨论用不同的方法来提高文本分类器的性能。

注意：本文不深入讲述NLP任务，如果你想先复习下基础知识，可以通过这篇文章

https://www.analyticsvidhya.com/blog/2017/01/ultimate-guide-to-understand-implement-natural-language-processing-codes-in-python/

准备好你的机器

先安装基本组件，创建Python的文本分类框架。首先导入所有所需的库。如果你没有安装这些库，可以通过以下官方链接来安装它们。

Pandas:https://pandas.pydata.org/pandas-docs/stable/install.html

Scikit-learn:http://scikit-learn.org/stable/install.html

XGBoost:http://xgboost.readthedocs.io/en/latest/build.html

TextBlob:http://textblob.readthedocs.io/en/dev/install.html

Keras:https://keras.io/#installation

#导入数据集预处理、特征工程和模型训练所需的库

from sklearn import model_selection, preprocessing, linear_model, naive_bayes, metrics, svm

from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer

from sklearn import decomposition, ensemble

import pandas, xgboost, numpy, textblob, string

from keras.preprocessing import text, sequence

from keras import layers, models, optimizers

一、准备数据集

在本文中，我使用亚马逊的评论数据集，它可以从这个链接下载：

https://gist.github.com/kunalj101/ad1d9c58d338e20d09ff26bcc06c4235

这个数据集包含3.6M的文本评论内容及其标签，我们只使用其中一小部分数据。首先，将下载的数据加载到包含两个列(文本和标签)的pandas的数据结构(dataframe)中。

数据集链接：

https://drive.google.com/drive/folders/0Bz8a_Dbh9Qhbfll6bVpmNUtUcFdjYmF2SEpmZUZUcVNiMUw1TWN6RDV3a0JHT3kxLVhVR2M

#加载数据集

data = open('data/corpus').read()

labels, texts = [], []

for i, line in enumerate(data.split("\n")):

content = line.split()

labels.append(content[0])

texts.append(content[1])

#创建一个dataframe，列名为text和label

trainDF = pandas.DataFrame()

trainDF['text'] = texts

trainDF['label'] = labels

接下来，我们将数据集分为训练集和验证集，这样我们可以训练和测试分类器。另外，我们将编码我们的目标列，以便它可以在机器学习模型中使用:

#将数据集分为训练集和验证集

train_x, valid_x, train_y, valid_y = model_selection.train_test_split(trainDF['text'], tr