文本分类半监督学习问题（二）

2021SC@SDUSC​​​​​​​​​​​​​​

目录

一、模型简介

Transformer模型

Bert模型

MixText模型

简介

相关的工作

二、代码分析

---

​​​​​​​

一、模型简介

Transformer模型

如图所示Transformer模型犹如一个黑盒，在其之前一直使用的RNN循环神经网络对数据进行训练，而在transformer诞生后，RNN模型已逐渐被代替，此模型的用途一方面可以用于对自然语言进行翻译，还有一方面可以对句子中一部分单词进行预测。此图所示，transformer模型分为两个部分，encoder与decoder部分。下面则是详细地对两个部分进行的解释。

 如上图所示，此模型的两个部分中，他们内部有存在很多相同的小组件。

每个内部的小组件又可以按照上图进行详细划分。首先在句子进入encoder前，会进行一个embedding算法，会将我们输入句子中的每一个单词编码，并且相邻的单词之间是有联系的。其次在encoder中进行注意力的计算。

embedding算法模型如上图所示