Bert+FGSM/PGD实现中文文本分类（Loss=0.5L1+0.5L2)

任务目标：在使用FGSM/PGD来训练Bert模型进行文本分类，其实现原理可以简单概括为以下几个步骤：

1. 对原始文本每个词转换为对应的嵌入向量。
2. 将每个嵌入向量与一个小的扰动向量相加，从而生成对抗样本。这个扰动向量的大小可以通过一个超参数来控制。
3. 将生成的对抗样本和原始样本一起用于训练模型。具体来说，可以将它们组成一个batch，然后使用交叉熵损失函数来训练模型。
4. 在训练过程中，可以周期性地增加扰动向量的大小，从而使得模型逐渐适应更强的攻击。这个过程可以称为“逐步增强对抗性训练”。
5. 通过使用FGSM/PGD来训练Bert模型，可以使得模型对对抗样本更加鲁棒，从而提高其在真实场景中的泛化能力和分类准确率。
6. 在训练过程中我们设置 总样本Loss=0.5原样本Loss+0.5对抗样本Loss，来提升模型的鲁棒性。

目录

一、导入所需的库和模块

二、加载数据集

三、定义模型和优化器

四、 基于原生Bert文本分类

4.1 定义训练函数

4.2 定义测试函数

五、Bert+FGSM文本分类 

5.1 定义FGSM对抗训练函数 

5.2 定义训练模型函数

5.3 定义测试函数

六、Bert+PGD文本分类

6.1 定义PGD攻击函数

6.2 定义训练函数

6.3 定义测试函数

---

在使用FGSM/PGD来训练Bert模型进行文本分类时，其实现原理可以概括为以下几个步骤：