本次课程为书生浦语大模型实战营第一次课程,对大语言模型的作用及训练流程进行了一个大致的介绍。
(1)从模型到应用典型流程
对于一个模型的部署,我们会根据实际情况以及应用业务场景初步做一个评判,选择合适的基础模型,然后根据实验设备算力是否足够选择微调的方案,在训练完模型后对模型做一个评测,评测指标达到满意的效果后进行发布。
(2)全链路开源体系
OpenMMLab设计了一套很方便的开源体系,通过该体系可以很方便地完成大模型训练的全过程。
首先是数据集,OpenMMLab开源了书生·万卷训练数据集。
然后是预训练和微调模型的方式。
评价指标:
最后是部署方式。