bert模型可以做文本主题识别吗_NLP之文本分类：「Tf-Idf、Word2Vec和BERT」三种模型比较...

字幕组双语原文：NLP之文本分类：「Tf-Idf、Word2Vec和BERT」三种模型比较

英语原文：Text Classification with NLP: Tf-Idf vs Word2Vec vs BERT

翻译：雷锋字幕组(关山、wiige)

概要

在本文中，我将使用NLP和Python来解释3种不同的文本多分类策略：老式的词袋法(tf-ldf)，著名的词嵌入法(Word2Vec)和最先进的语言模型(BERT)。

NLP(自然语言处理)是人工智能的一个领域，它研究计算机和人类语言之间的交互作用，特别是如何通过计算机编程来处理和分析大量的自然语言数据。NLP常用于文本数据的分类。文本分类是指根据文本数据内容对其进行分类的问题。

我们有多种技术从原始文本数据中提取信息，并用它来训练分类模型。本教程比较了传统的词袋法(与简单的机器学习算法一起使用)、流行的词嵌入模型(与深度学习神经网络一起使用)和最先进的语言模型(和基于attention的transformers模型中的迁移学习一起使用)，语言模型彻底改变了NLP的格局。

我将介绍一些有用的Python代码，这些代码可以轻松地应用在其他类似的案例中(仅需复制、粘贴、运行)，并对代码逐行添加注释，以便你能复现这个例子(下面是全部代码的链接)。

mdipietro09/DataScience_ArtificialIntelligence_Utils

我将使用“新闻类别数据集”(News category dataset)，这个数据集提供了从HuffPost获取的2012-2018年间所有的新闻标题，我们的任务是把这些新闻标题正确分类，这是一个多类别分类问题(数据集链接如下)。

News Category Dataset

特别地，我要讲的是：

设置：导入包，读取数据，预处理，分区。词袋法：用scikit-learn进行特征工程、特征选择以及机器学习，测试和评估，用lime解释。词嵌入法：用gensim拟合Word2Vec，用tensorflow/keras进行特征工程和深度学习，测试和评估，用Attention机制解释。语言模型：用transformers进行特征工程，用transformers和tensorflow/keras进行预训练BERT的迁移学习，测试和评估。设置

首先，我们需要导入下面的库：

该数据集包含在一个jason文件中，所以我们首先将其读取到一个带有json的字典列表中，然后将其转换为pandas的DataFrame。

原始数据集包含30多个类别，但出于本教程中的目的，我将使用其中的3个类别：娱乐(Entertainment)、政治(Politics)和科技(Tech)。

从图中可以看出，数据集是不均衡的：和其他类别相比，科技新闻的占比很小，这会使模型很难识别科技新闻。

在解释和构建模型之前，我将给出一个预处理示例，包括清理文本、删除停用词以及应用词形还原。我们要写一个函数，并将其用于整个数据集上。

该函数从语料库中删除了一组单词(如果有的话)。我们可以用nltk创建一个英语词汇的通用停用词列表(我们可以通过添加和删除单词来编辑此列表)。

现在，我将在整个数据集中应用编写的函数，并将结果存储在名为“text_clean”的新列中，以便你选择使用原始的语料库，或经过预处理的文本。

如果你对更深入的文本分析和预处理感兴趣，你可以查看这篇文章。我将数据集划分为训练集(70%)和测试集(30%)，以评估模型的性能。

<