关于书生LLM的全链路开源开放体系

VC_Alexa

已于 2024-08-08 06:26:35 修改

阅读量708

点赞数 11

文章标签：开源

于 2024-08-08 06:20:53 首次发布

本文链接：https://blog.csdn.net/VC_Alexa/article/details/141005961

版权

最开始知道书生浦语大模型是新闻/行业报告里看到国内一家制造业的AI应用案例，言简意赅，我只说记下的案例关键词：振华重工、羚数智能、书生浦语，有兴趣的同学可以自行搜索。

作为小白，通过学习书生浦语大模型体系，不仅让我对整个书生大模型的开源体系有了解，配套的工具链也让我对AI学习有了感性+理性认识，因为我一直想找个相对完整的技术栈和对应工具来理解AI。

书生浦语大语言模型的全链路开源开放体系是由上海人工智能实验室开发的一系列开源软件和数据集，旨在推动大模型技术的研究和应用。这个体系包括数据集、预训练模型、微调工具、部署框架、评测平台和应用开发工具等组成部分，形成了一个完整的大模型研发和应用生态。

包含了多模态的预训练语料库，数据量超过2TB，涵盖了文本、图像和视频等多种模态。

InternEvo是一个开源的轻量级训练框架，专门设计用于支持大规模语言模型（LLM）的预训练。它能够在具有上千GPU的大规模集群上进行高效训练，同时也支持在单个GPU上进行微调。试过才有发言权，后续试验。

InternLM是书生浦语大模型的预训练模型，支持高效的并行训练，并提供了多种规格的模型版本，如1.8B、7B和20B参数规格（ollama或源码部署都很方便），还有个闭源的102B。

还有专业方向的模型，InternLM-XComposer(灵笔)、InternLM-Math(数学)、InternLM-WQX(文曲星)

XTuner是一个微调工具包，支持全参数微调和低成本微调算法，如LoRA和QLoRA，适用于不同的微调场景和模型。

我盲猜是类似llamafactory或者qwen swift的工具。

LMDeploy是一个部署框架，支持大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务。据说性能超过vllm，后续学习中会试试

OpenCompass是一个大模型评估平台，提供了全面的评测体系，支持多种模型和任务的性能评估。这个经常看，目前每两个月更新，是国内相对比较客观的测评榜单。

MindSearch是一种模仿人类思维的开源深度AI搜索引擎，它采用WebPlanner和WebSearche
r组件，通过问题分解、并行搜索和分层信息检索来模拟人类进行深度搜索。MindSearch能
够处理更长的上下文，提供更深入、更广泛、更准确的答案。

初看比较惊艳的就是，搜索过程可视化，能看到AI在哪一步在搜什么。

Lagent是一个轻量级开源智能体框架,它允许用户高效地构建基于大语言模型的智能体,并
提供了一系列工具来增强大语言模型的能力。Lagent支持多种类型的智能体，如ReAct、Aut
oGPT和ReWoo等,这些智能体能够进行多轮推理和工具调用。

这个赛道我理解很卷了，有扣子、开源的有Dify，最近langchain也发布了Agent IDE。这个赛道我还有很多没看明白的点，使用的时候再对比看吧。

MinerU是一个一站式、开源、高质量的数据提取工具,主要功能包括将PDF转化为Markdo
wn格式,支持转换本地文档或位于支持S3协议对象存储上的文件。MinerU能够处理复杂的
PDF文档，提取其中的图片、表格、脚注等多模态内容,并将公式转换为LaTeX格式。

这个工具前几天刚找到，效果不错，解决的是pdf解析数据提取处理的痛点问题。

HuixiangDou(茴香豆)是一个基于大语言模型的群聊知识助手,专注于解决群聊中的技术
问题。它能够集成到即时通讯工具中，如微信和飞书，主要服务于技术领域，尤其是编程、
算法、软件开发等相关问题。
我刚好有个场景，我会试试。

这个全链路开源开放体系，让小白能有一个基本的genAI链路和工具，进行研究和应用开发，后续试验继续更新。

关注