【书生浦语大模型全链路开源体系】

最新推荐文章于 2024-11-07 14:12:51 发布
最新推荐文章于 2024-11-07 14:12:51 发布
阅读量1k 收藏 15
点赞数 23
分类专栏： InternLM学习 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YYYYbhjbhkv_/article/details/135439000
版权

书生浦语大模型全链路开源体系


详细模型介绍，请看 书生·浦语大模型全链路开源体系

一、背景

近几年来，随着人工智能行业的不断发展，大模型、大语言模型的发展火箭般的速度飞速更新迭代，从最早的GPT，到ChatGPT，再到LLaMA、GPT-4等等。
在这里插入图片描述

那么为什么大模型能在当今时代如鱼得水，以一种位面之子的形态蓬勃发展呢？

在这里插入图片描述

正是因为大模型已然 成为发展通用人工智能的重要途径！
过去，可能会使用模型只应用于一个具体的领域，如图像识别、生成等，但随着大模型的不断发展，逐步发现，只需要训练出一个强大的基础的大模型，最后只需要针对各个领域进行微调，就能取得极好的成果，相当于有了一个万能模板，这无疑为所有研究人员指明了一条道路：谁能训练出一个更强大的模板，谁就能独占鳌头！自然，大模型的发展也就以一种不可阻挡之势，持续进击！

二、书生 · 浦语大模型的发展

2.1、书生 · 浦语大模型的开源历程

在这里插入图片描述

2.2、书生 · 浦语大模型的系列

在这里插入图片描述

重点：目前轻量级和中量级模型都是开源可用的！
模型看着不错，那实际的性能是怎么样的？下面以中量级模型为例展示。

上图中的雷达图是根据OpenCompass评测

我书生 · 浦语训练只为三件事：强大、强大、还是 tmd 强大！

三、从模型到应用

在这里插入图片描述

四、书生 · 浦语全链条开源开放体系

在这里插入图片描述

4.1、数据（书生 · 万卷）

在这里插入图片描述

4.2、预训练（InternLM-Train）

在这里插入图片描述

4.3、微调（XTuner）

大语言模型的下游应用中，增量续训和有监督微调是经常会用到的两种方式：

  1. 增量续训
    • 使用场景:让基座模型学习到一些新知识，如某个垂类领域知识
    • 训练数据:文章、书籍、代码等
  2. 有监督微调
    • 使用场景:让模型学会理解和遵循各种指令，或者注入少量领域知识
    • 训练数据:高质量的对话、问答数据

在这里插入图片描述

内存不够训练不了？只需 8GB 即可畅想微调！是的，不要4090，不要A100，只需 8GB！

在这里插入图片描述

4.4、评测（OpenCompass）

国内外已经有不少评测标准，但从评测全面性来看不太能够满足现在大模型的发展

在这里插入图片描述

既然现有的标准都不太满足，那就自己造一个！

在这里插入图片描述

6大维度，80+评测集，40w+评测题目！（OpenCompass轻蔑一笑：哼，一个能打的都没有）
除此之外，你以为 OpenCompass 只是一个评测维度体系？要是真这么觉得，年轻人，还是见识少了~ 亮个相吧，小宝贝！

在这里插入图片描述

在这里插入图片描述

不止评测，还能提供工具使用，真的泰无敌辣！

在这里插入图片描述
目前支持这么多模型，但以后会越来越多的。

4.5、部署（LMDeploy）

主要包括模型轻量化、推理和服务

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

4.6、智能体（Lagent）

大语言模型具有一定的局限性，包括：

  • 最新信息和知识的获取

  • 回复的可靠性

  • 数学计算在这里插入图片描述

  • 工具使用和交互

不能总放着这些缺点不管，科学家有了思路，让大模型去驱动一个智能体，或者更复杂的应用来满足这些需求。通常，会搭建一个包含不同模块的智能体框架，以大语言模型作为核心来进行规划、推理、执行。

Alt

书生 · 浦语也搭建了自己的智能体——Lagent

在这里插入图片描述

不仅如此，书生 · 浦语还创建了智能体工具箱——AgentLego

在这里插入图片描述

G_Sheep
关注
专栏目录
书生大模型全链路开源体系
weixin_46836850的博客
07-25 1672
2023年6月7日InternLM千亿参数语言大模型发布。2023年7月6日，InternLM千亿参数大模型全面升级，支持8K语境、26种语言，并全面开源，免费商用。2023年8月14日，书生万卷1.0多模态预训练语料库开源发布。2023年8月21日，升级版对话模型InternLM-Chat-7B v1.1发布，同时开源智能体框架Lagent，支持从语言模型到智能体升级转换。2023年8月28日，InternLM千亿参数模型参数量升级到123B。
书生·浦语大模型全链路开源体系介绍
2401_85373396的博客
06-03 1000
随着人工智能技术的迅猛发展，大模型技术已成为当今人工智能领域的热门话题。2022 年 11 月 30 日，美国 OpenAI 公司发布了 ChatGPT 通用型对话系统并引发了全球 的极大关注，上线仅 60 天月活用户数便超过 1 亿，成为历史上用户增长最快的互联网 应用产品。2023 年 3 月 14 日，OpenAI 公司再次发布了升级版模型 GPT-4 又展现 出了更高阶的能力，再一次实现了技术飞跃，并在全球范围掀起大模型发展浪潮。
书生·浦语大模型全链路开源体系
weixin_39897979的博客
01-04 1766
书生·浦语大模型全链路开源体系介绍，包括数据、预训练、微调、部署、评测、应用端到端全流程体系。
书生浦语大模型全链路开源体系
Andytl的博客
01-03 536
人工智能已从专用模型向大模型发展，专用模型是针对特定任务，一个模型解决一个问题。通用大模型是一个模型应对多种任务，多种模态。目前上海人工智能实验室发布的InternLM大语言模型可分为轻量级InternLM-7B，中量级InternLM-20B，重量级InternLM-123B（千亿级），均为开源可商用。AgentLego，多模态智能体工具箱，Lagent是提供智能体框架，而AgentLego是提供工具。LMDeploy，大模型部署方案，提供模型轻量化、推理和服务，与OpenAI接口兼容，方便迁移；
书生浦语大模型全链路开源体系学习-L1
weixin_57128596的博客
07-18 483
对数据集的评测采用了更加准确的循环评测策略，比如：有些测试集它的选项是A、B、C、D，那么大模型就有猜测的因素导致对模型真实能力分析有影响。这些精度会影响模型的计算效率，内存占用、以及最终的精度。，它是模型理解上下文的一种方式，它需要记住（缓存）之前看到的词（k代表key，v代表value）。模型在生成下一个字符（token）时，会依赖之前生成的token，就像写故事一样，下一个plot依赖于之前的情节。与编码器不同的是，它的自注意力会屏蔽掉未来尚未生成的词，意思就是说主要用于token的生成当中，模型。
1.书生浦语大模型全链路开源体系
qq_47910543的博客
03-31 372
本次课程为第一次课程，对大语言模型的作用及训练流程进行了一个大致的介绍。
书生 浦语大模型全链路开源体系
han____shuai的专栏
03-30 563
书生 浦语 2.0体系，面向不同的使用需求，每个规格包含三个模型版本，（7B、20B）InternLM2-Base、InternLM2、InternLM2-Chat。大模型是回归语言建模的本质。采用了新一代的清洗过滤技术，例如，多维度数据价值评估，高质量语料驱动的数据富集，有针对性的数据补齐。书生大模型可以借助代码解释器来解答数学题和作数据分析的工作。全链路开放体系，包含预训练和有监督微调，导入专业知识。书生大模型开源了收集的数据集。书生 浦语大模型的开源历程。性能比肩GPT3.5。书生也开放了评测体系。
01 书生·浦语大模型全链路开源体系
Wzxdecsdn的博客
01-04 649
书生·浦语大模型全链路开源体系简介
学习笔记～书生浦语大模型全链路开源体系
m0_68405343的博客
05-21 409
从模型到应用，1.选模型2.业务场景3.模型微调4，算力评估5，模型是否需要做交互6，构建智能体7，模型评测，部署和上线。书生浦语大模型InterLM2千亿参数大模型，书生万卷1.0，了解书生整个开源历程。大模型成为发展通用人工智能的重要途径，专用模型到通用模型的发展转变趋势。超长上下文，优秀对话和创作体验 工具调用能力整体升级 突出的数理能力。代码解释器提升其算学能力，模型的实用数据分析功能，使用机器学习的算法。举例：模型作为AI助手，人文关怀的对话 想象力的创作。1，新一代数据清洗过滤技术。
InternLM大模型实战-1.书生浦语大模型全链路开源体系
raw_inputhello的博客
02-09 976
本系列文章是参与书生浦语全链路开源体系学习的笔记文章。B站视频教程地址：# 笔记正文## 大模型成为热门关键词LLM受到高关注，因为大模型成为发展通用人工只能的重要途经。专用模型：针对特定任务，一个模型解决一个问题。通用大模型：一个模型应对多种任务、多种模态。书生·浦语全链路开源体系是一个全面、多元化的项目，涵盖了从数据、预训练到微调、部署等多个环节。
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1800
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1538
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 1007
书生浦语LLM大模型教程
书生·浦语大模型全链路开源体系（陈恺|上海人工智能实验室 青年科学家）-听课笔记
weixin_60280805的博客
01-03 1378
多模态智能体工具箱AgentLego。- 浦语大模型全链路开源体系生态。全链路开源开放体系|预训练。全链路开源开放体系|智能体。全链路开源开放体系|数据。全链路开源开放体系|微调。全链路开源开放体系|微调。全链路开源开放体系|部署。轻量级智能体Lagent。书生·浦语大模型系列。
【 书生·浦语大模型实战营】学习笔记（二）：轻松玩转书生·浦语大模型趣味Demo
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-05 1251
本文为实战营第二次课程笔记，主要分为两个部分，第一部分部署 InternLM2-Chat-1.8B 模型进行智能对话。第二部分为完成 Lagent 工具调用 数据分析 Demo 部署，后续系列会继续更新，欢迎大家交流！
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 1432
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 286
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
在后LLM时代，关于新一代智能体的思考
最新发布
langboat_mengzi的博客
11-07 454
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
CVPR2024：PKINet(上下文锚点注意力机制)
kuailezzf的博客
11-06 365
PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。具体来说，首先，PKINet不依赖于大核卷积或膨胀卷积来扩展感受野，而是利用无扩展的深度卷积（inception-style）来提取不同感受野之间的多尺度纹理特征。最后，这两个模块协同工作，促进了局部和全局上下文信息的自适应特征提取，从而提高了遥感目标检测的性能。为了解决上述问题，以前的方法是通过大核卷积或膨胀卷积来扩展主干网络的空间感受野。但是，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值