书生 浦语大模型全链路开源体系--个人心得体会

由上海人工智能实验室青年科学家陈恺针对书生浦语大模型全链路开源体系进行直播讲授，直播链接如下：书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

人工智能发展流程

目前大模型是大方向，通往人工智能的关键。大部分人开始向大模型靠拢，大模型必将成为未来人工智能发展大趋势。

模型到应用的典型流程

从模型到应用需要考虑业务场景、算力、工具、大量代码等帮助，通过模型选型、模型评测、模型部署等多个方面。

书生浦语全链条开放体系

预处理---修改配置可以进行模型预训练

微调--- 高效微调框架 XTuner

评测---Compass

CompassRank：对主流模型进行更新，内含数模型

CopassKit：多维度多需求的对模型进行评测

CompassHub：评测社区

OpenCompass年度榜单

复杂推理是短板 ，偏文科问题差距比较小，偏理科的性能和尺寸呈现比较强的相关性。国内模型在中文理解、创作等有优势。

部署---LMDeploy完备工具链

LMDeploy VS LLM柱状图

智能体--AgentLego