介绍
我们正站在语言和机器的交汇处,这个话题我很感兴趣。机器能像莎士比亚一样写作吗?机器能提高我自己的写作能力吗?机器人能解释一句讽刺的话吗?
我肯定你以前问过这些问题。自然语言处理(NLP)也致力于回答这些问题,我必须说,在这个领域已经进行了突破性的研究,促使弥合人类和机器之间的鸿沟。
![f30eddc37c99dc286c8e0049014f1386.png](https://i-blog.csdnimg.cn/blog_migrate/922ff454277fe0cef5e8ed6147bd4087.jpeg)
文本分类是自然语言处理的核心思想之一。如果一台机器能够区分名词和动词,或者它能够在客户的评论中检测到客户对产品的满意程度,我们可以将这种理解用于其他高级NLP任务。
这就是我们在文本分类方面看到很多研究的本质。迁移学习的出现可能促进加速研究。我们现在可以使用构建在一个巨大的数据集上的预训练的模型,并进行优化,以在另一个数据集上实现其他任务。
迁移学习和预训练模型有两大优势:
- 它降低了每次训练一个新的深度学习模型的成本
- 这些数据集符合行业公认的标准,因此预训练模型已经在质量方面得到了审查
你可以理解为什么经过预训练的模特会大受欢迎。我们已经看到像谷歌的BERT和OpenAI的GPT-2这样的模型真的很厉害。在这里中,我将介绍6种最先进的文本分类预训练模型。
我们将介绍的预训练模型:
- XLNet
- ERNIE
- Text-to-Text Transfer Transformer(T5)
- BPT
- NABoE
- Rethinking Complex Neural Network Architectures for Document Classification
预训练模型1:XLNet
我们不能不提及XLNet!
谷歌的最新模型XLNet在文本分类,情感分析,问答,自然语言推理等主要NLP任务上取得了最先进的性能,同时还为英语提供了必要的GLUE基准。它的性能超过了BERT,现在已经巩固了自己作为模型的优势,既可以用于文本分类,又可以用作高级NLP任务。
XLNet背后的核心思想是:
- 语言理解的广义自回归预训练
- Transformer-XL
![f0a73efe280de9a56d68846273124727.png](https://i-blog.csdnimg.cn/blog_migrate/50830f0bcbe4a4503d74335e8d0b14df.jpeg)
如果这听起来很复杂,别担心&#