从0开始训练1.4b中文大模型的直播经验分享 | NICE十一期

主题

从0开始训练1.4b中文大模型的经验分享^[1]

个人简介

黎健进（知乎：Lil2J）

23年在华南师范大学软件工程毕业的一名硕士研究生，在校期间，我专注于自然语言处理（NLP）领域的研究，致力于探索语言智能的前沿技术。毕业后，我顺利加入了深圳一家知名的金融公司，目前主要负责大模型相关的工作，通过技术创新助力金融行业的智能化升级。

在研究生阶段，有幸与华为昇腾团队展开了深入的合作，共同进行昇腾生态上的transformer模型的开发工作。这段宝贵的经历让我对transformer的训练和开发有了更为深刻的理解和丰富的实践经验。我熟悉transformer模型的结构和原理，能够熟练运用相关工具和技术进行模型的优化和改进。

内容概要

1. 简介

2. 动机

3. 模型训练细节

4. 训练结果和效果

5. 总结

引言部分

随着技术的不断发展和资源的日益丰富，越来越多的大厂开始关注参数量相对较小的大模型，如qwen-0.5b和phi-2b等。这一趋势让我意识到，在未来，参数量相对较小的大模型可能会在大模型领域中占据一席之地。

相较于庞大的模型，参数量相对较小的大模型具有更低的计算需求、更快的训练速度和更少的资源消耗。这使得更多的个人和团队能够参与到大模型的训练和应用中，推动了技术的普及和发展。同时，这类模型也在某些特定任务上展现出了不俗的性能，证明了其在实际应用中的价值。

总的来说，我个人非常看好参数量相对较小的大模型的发展前景。

时间

2024.3.23 10:30-11:30
本周六上午不见不散~

视频号直播预约~

进群

为了方便讨论，建立了一个作者交流群，探讨更多细节~

上期直播

参考资料

[1]

从0开始预训练1.4b中文大模型实践: https://zhuanlan.zhihu.com/p/684946331