书生-浦语大模型全链路开源体系

本文介绍了书生-浦语大模型的开源历程,包括其从轻量级设计到全链路开源体系的构建,涵盖了预训练、微调、部署和评测等多个环节。该模型支持分布式高效评测,特别强调了在业务场景复杂度和算力条件下的适应性,以及智能体应用如AgentLego的实现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

书生-浦语大模型全链路开源体系

视频链接

大模型成为发展通用人工智能的途径

AI发展的趋势:从专用模型到通用模型

在这里插入图片描述

书生-浦语大模型开源历程

在这里插入图片描述

书生-浦语大模型系列

轻量级:适合社区可用

在这里插入图片描述

从模型到应用

考虑方面:业务场景复杂度、算力大小、是否交互

在这里插入图片描述

全链路开源开放体系

在这里插入图片描述

数据

书生万卷开源语料库

在这里插入图片描述

OpenDataLab开放平台

在这里插入图片描述

预训练-InternLM-Train

在这里插入图片描述

微调

两种方式:增量续训、有效监督微调

在这里插入图片描述

XTuner微调框架

在这里插入图片描述

在这里插入图片描述

部署

在这里插入图片描述

LMDeploy

在这里插入图片描述

在这里插入图片描述

评测

在这里插入图片描述

OpenCompass评测体系

在这里插入图片描述

在这里插入图片描述

优点:

  • 丰富模型支持
  • 分布式高效评测
  • 便捷的数据集接口
  • 敏捷的迭代能力

在这里插入图片描述

智能体应用

在这里插入图片描述

Lagent

在这里插入图片描述

在这里插入图片描述

AgentLego

…(img-7axYMb5e-1704441889902)]

[外链图片转存中…(img-wBPXkccO-1704441889902)]

AgentLego

在这里插入图片描述

### 关于书生·浦语大模型 书生·浦语是由上海人工智能实验室推出的大规模预训练语言模型,其设计目标是在多个自然语言处理任务上表现出卓越性能的同时保持高效性和易用性[^1]。该模型不仅支持多种应用场景下的开箱即用功能,还提供了灵活的微调能力以适应特定需求。 #### 模型使用方法 为了使用书生·浦语大模型,可以通过指定 `local_llm_path` 参数加载本地已有的模型文件或者通过提供 Hugging Face 平台上的模型名称来自动下载并加载远程模型。例如可以使用的模型名有 `"internlm/internlm2-chat-7b"` 或者 `"internlm/internlm2-chat-20b"` 等。此外,在实际部署前需确保设置合理的参数如 `local_llm_max_text_length` 来控制输入的最大长度以便优化运行效率和效果。 对于初次使用者来说,准备环境的第一步可能涉及创建目录结构以及复制预先获取到的模型仓库至相应位置的操作命令如下所示: ```bash mkdir -p /root/model/Shanghai_AI_Laboratory && \ cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory/ ``` 上述脚本片段展示了如何构建存储路径并将 internlm-chat-7b 版本的具体实现迁移过去的过程[^2]。 #### 微调与扩展支持 值得一提的是,除了基础的服务外,书生·浦语也兼容其他主流框架内的调整流程和技术方案,比如但不限于 InternLM, Llama, Qwen (通义千问), BaiChuan 及 ChatGLM 这些知名系列的产品线均被纳入考虑范围之内;并且能够很好地融入像 HuggingFace 和 ModelScope 那样的开放生态系统之中去寻找更多可能性[^3]。 另外值得注意的一点在于围绕着这些先进工具所建立起来的标准评估机制同样值得称赞——它由国内权威机构主导制定而成,并得到了国际巨头 Meta 的正式背书成为唯一推荐给用户的本土化考核标准之一,涵盖了上百套测试集合总计五十多万道试题用于全面衡量各项指标表现情况[^4]。 ### 提供的相关资源链接 虽然这里无法直接给出具体的文档地址或安装包下载连接,但是可以根据前面提到的信息自行前往官方网站查询最新版本资料详情页面获取进一步指导说明材料。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sean7566

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值