iBERT 模型是 RoBERTaibert-roberta-base 的仅整数量化版本,并在本文中进行了介绍。I-BERT 以 INT8 表示存储所有参数,并使用仅整数算术执行整个推理。特别是,I-BERT 将Transformer 架构(例如,MatMul、GELU、Softmax 和 LayerNorm)中的所有浮点运算替换为非常近似的整数运算。在 Nvidia T4 GPU 上进行测试时,与浮点对应物相比,这可以将推理速度提高 4 倍。然后可以将通过量化感知微调搜索的最佳模型参数导出(例如,到TensorRT),用于模型的仅整数部署。
整个模型的结构还是依照了 BERT 的骨架,采用了 Transformer 以及 GELU 激活函数。
详细情况请点击:使用MindStudio进行ibert模型训练 - 知乎