使用MindStudio进行ibert模型训练

iBERT 模型是 RoBERTaibert-roberta-base 的仅整数量化版本，并在本文中进行了介绍。I-BERT 以 INT8 表示存储所有参数，并使用仅整数算术执行整个推理。特别是，I-BERT 将Transformer 架构（例如，MatMul、GELU、Softmax 和 LayerNorm）中的所有浮点运算替换为非常近似的整数运算。在 Nvidia T4 GPU 上进行测试时，与浮点对应物相比，这可以将推理速度提高 4 倍。然后可以将通过量化感知微调搜索的最佳模型参数导出（例如，到TensorRT），用于模型的仅整数部署。

整个模型的结构还是依照了 BERT 的骨架，采用了 Transformer 以及 GELU 激活函数。

详细情况请点击：使用MindStudio进行ibert模型训练 - 知乎