resnet预训练模型_六种用于文本分类的开源预训练模型

介绍

我们正站在语言和机器的交汇处，这个话题我很感兴趣。机器能像莎士比亚一样写作吗？机器能提高我自己的写作能力吗？机器人能解释一句讽刺的话吗？

我肯定你以前问过这些问题。自然语言处理(NLP)也致力于回答这些问题，我必须说，在这个领域已经进行了突破性的研究，促使弥合人类和机器之间的鸿沟。

文本分类是自然语言处理的核心思想之一。如果一台机器能够区分名词和动词，或者它能够在客户的评论中检测到客户对产品的满意程度，我们可以将这种理解用于其他高级NLP任务。

这就是我们在文本分类方面看到很多研究的本质。迁移学习的出现可能促进加速研究。我们现在可以使用构建在一个巨大的数据集上的预训练的模型，并进行优化，以在另一个数据集上实现其他任务。

迁移学习和预训练模型有两大优势：

1. 它降低了每次训练一个新的深度学习模型的成本
2. 这些数据集符合行业公认的标准，因此预训练模型已经在质量方面得到了审查

你可以理解为什么经过预训练的模特会大受欢迎。我们已经看到像谷歌的BERT和OpenAI的GPT-2这样的模型真的很厉害。在这里中，我将介绍6种最先进的文本分类预训练模型。

我们将介绍的预训练模型：

• XLNet
• ERNIE
• Text-to-Text Transfer Transformer(T5)
• BPT
• NABoE
• Rethinking Complex Neural Network Architectures for Document Classification

预训练模型1：XLNet

我们不能不提及XLNet！

谷歌的最新模型XLNet在文本分类，情感分析，问答，自然语言推理等主要NLP任务上取得了最先进的性能，同时还为英语提供了必要的GLUE基准。它的性能超过了BERT，现在已经巩固了自己作为模型的优势，既可以用于文本分类，又可以用作高级NLP任务。

XLNet背后的核心思想是：

1. 语言理解的广义自回归预训练
2. Transformer-XL

如果这听起来很复杂，别担心&#