书生大模型实战营（第3期）闯关记录（基础岛-书生大模型全链路开源体系）

书生·浦语开源一周年

近一年多来，上海人工智能实验室在社区持续对全链条开源工具体系升级，形成了书生大模型全链路开源开放体系。感谢上海AI Lab举办的大模型实战营。

- 2023.7.6 InternLM-7B开源率先免费商用，发布全链条开源工具体系

- 2023.9.20 internLM-20B开源，开源工具链全线升级

- 2024.1.7 internLM2开源、性能超最新同量级开源模型

- 2024.7.4 internLM2.5开源

InternLM2.5

书生·浦语开源模型体系

书生·浦语大模型全链路开源开放体系

书生·浦语大模型全链路开源开放体系是一个开放的、可扩展的生态系统，包括数据-预训练-微调-部署-评测-应用方面。

数据 书生·万卷

OpenDataLab 引领AI大模型时代的开放数据平台

书生·万卷是首个精细化处理的开源多模态语料库，还开源了Miner U数据提取工具和Label LLM、Label U数据标注工具等数据处理工具。

预训练 InternEvo

GitHub - InternLM/InternEvo

InternEvo是一个开源的轻量级训练框架，旨在支持无需大量依赖关系的模型预训练。进行了预训练过程显存优化、分布式训练优化等。

微调 XTuner

GitHub - InternLM/xtuner: An efficient, flexible and full-featured toolkit for fine-tuning LLM (InternLM2, Llama3, Phi3, Qwen, Mistral, ...)

XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库，能够适配多种生态、适配多种硬件。

评测 OpenCompass大模型评测体系

GitHub - open-compass/opencompass: OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.

OpenCompass司南大模型评测体系主要由三大核心模块构建而成：CompassKit、CompassHub以及CompassRank。

CompassRank 系统进行了重大革新与提升，现已成为一个兼容并蓄的排行榜体系，不仅囊括了开源基准测试项目，还包含了私有基准测试。此番升级极大地拓宽了对行业内各类模型进行全面而深入测评的可能性。

CompassHub 创新性地推出了一个基准测试资源导航平台，其设计初衷旨在简化和加快研究人员及行业从业者在多样化的基准测试库中进行搜索与利用的过程。

CompassKit 是一系列专为大型语言模型和大型视觉-语言模型打造的强大评估工具合集，它所提供的全面评测工具集能够有效地对这些复杂模型的功能性能进行精准测量和科学评估。

OpenCompass致力于构建科学、领先、公平的大模型评测体系，携手行业助力通用人工智能发展。

部署 LMdeploy

https://github.com/InternLM/lmdeploy/tree/main

LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案；

应用

智能体框架Lagent

GitHub - InternLM/lagent: A lightweight framework for building LLM-based agents

大模型搜索应用MindSearch

GitHub - InternLM/MindSearch: 🔍 An LLM-based Multi-agent Framework of Web Search Engine (like Perplexity.ai Pro and SearchGPT)

茴香豆

GitHub - InternLM/HuixiangDou: HuixiangDou: Overcoming Group Chat Scenarios with LLM-based Technical Assistance