加速训练定制化BERT，ExtremeBERT工具包助力轻松快速预训练

最新推荐文章于 2024-06-27 01:03:35 发布

PaperWeekly

最新推荐文章于 2024-06-27 01:03:35 发布

阅读量422

点赞数 1

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/128212878

版权

ExtremeBERT工具包旨在加速预训练过程，使得仅用8张3090 GPU就能在一天内训练出类似BERT-base的模型。这个工具包提供一键预训练、优化加速和对海量数据集的支持，适合进行预训练研究和定制领域特定模型。通过过参数化、混合精度训练等加速技巧， ExtremeBERT显著提高了训练效率，同时保持或超过了BERT在GLUE基准上的表现。

摘要由CSDN通过智能技术生成

前言

预训练语言模型为自然语言处理带来了革命性的进展，预训练-微调的范式提高了许多下游任务的性能。在实际中，我们有时并不满足于在自己的数据上微调预训练模型，而是想拿一些内部数据和领域特定数据去重新训练一个自己的模型，以此获取更好的表征。

然而预训练动辄需要几十上百张 GPU，训练速度也非常缓慢。因此，即使是在 BERT 已经提出四年之后的今天，个人研究者和小型科研机构想要从头训练一个 BERT 依然十分困难。虽然我们可以很容易地拿到开源训练代码，但是数据量大、计算资源短缺给语言模型预训练的研究和应用带来了困难和挑战。

在本文中，来自港科大统计与机器学习实验室的研究者们提出了 ExtremeBERT 工具包，极大加快了预训练的速度，只需要 8 张 3090 GPU，就可以在一天左右从头训练一个模型达到 BERT-base 的效果，训练加速接近一个数量级。该工具包提供了灵活易用的接口、具有一键轻松训练、优化加速、支持海量数据集的特点，适合预训练研究和训练 domain specific 的模型。