书生浦语大模型实战营

1.书生浦语开源历程--开源一周年

2.书生浦语大模型2.5版本的能力突出点：

在大语言模型的发展过程中核心的思想是对数据质量不断地提升和利用辅助标注来得到对齐数据来迭代大语言模型。

对于高质量合成数据地生成

对于第三点基于反馈地数据生成中重点是数据的标注，现在OpenDataLab中开源了LabLLM可以利用这个工具来进行数据的标注（可以在NLP任务中使用）。

对于模型能力地提升主要有三点：推理能力提升、支持超长上下文、自主规划和搜索完成复杂任务，下面是对于这三点的详细介绍：

推理能力提升；

超长的上下文（对于10万token的信息几乎100%能够记住）；

基于规划和搜索解决复杂问题；（模拟人来解决问题）

书生浦语开源模型谱系

书生浦语开源全链条：书生万卷、InternEvo、XTuner、LMDeploy、OpenCompass、应用demo

数据--书生万卷：

开源的数据处理工具箱：

预训练--InternEvo：显存优化、分布式优化

微调--XTuner：支持多种微调算法、任务类型等

对于其他一些llama-factory的对比

评测--OpenCompass：

OpenCompass是工具、基准和榜单三位一体

部署--LMDeploy：支持的开源大模型更多

与VLLM在推理能里的对比：

应用demo--MinerU（高效文档解析工具）、MindSearch（搜索应用）

大模型当前的局限性：

智能体Lagent：三种智能体构造方案、支持多种大模型；

茴香豆企业级知识库的工具--RAG和知识图谱