大模型学习之书生·浦语大模型1——全链路开源体系

最新推荐文章于 2024-05-17 22:01:38 发布
最新推荐文章于 2024-05-17 22:01:38 发布
阅读量849 收藏 6
点赞数 9
分类专栏： # 书生·浦语大模型 文章标签： 学习 大模型 llm 浦语 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/135374647
版权

在这里插入图片描述

书生·浦语大模型全链路开源体系

在这里插入图片描述
大模型成为热门关键词
在这里插入图片描述
大模型成为发展通用人工智能的重要途径，未来是使用一个模型应对多种任务，多种模态。

书生·浦语大模型开源历程

在这里插入图片描述
在这里插入图片描述

  • InternLM-7B
  • InternLM-20B
  • InternLM-123B

在这里插入图片描述
性能达到LIama2-70B水平

从模型到应用

在这里插入图片描述
在这里插入图片描述

  • 模型选型，不同维度上不同业务上的能力
  • 业务场景是否复杂，非常复杂的话直接开源模型可能不能满足需求
  • 是否算力足够，如果足够可以进行续训练，或者全参数微调，如果不够就只能微调
  • 业务场景是否需要与环境交互，是否需要调用外部API或者数据库，构建智能体
  • 模型评测
  • 模型部署

全链条开源开放体系

在这里插入图片描述

  • 数据：书生万卷
  • 预训练：InternLM-train
  • 微调：XTuner
  • 部署：LMDeploy
  • 评测：OpenCompass
  • 应用：Lagent AgentLego

数据

在这里插入图片描述
在这里插入图片描述

  • OpenDataLab
  • 5400+数据集
  • 30+模态
  • 80TB数据大小

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述

  • XTuner
  • 兼容不同算法
  • 兼容不同生态模型和数据集
  • 自动化优化加速

在这里插入图片描述

评测

在这里插入图片描述
在这里插入图片描述

  • OpenCompass
  • 6大维度
  • 80+评测集
  • 40w+评测题目
    在这里插入图片描述
    在这里插入图片描述
  • 丰富的模型支持
  • 分布式高效评测
  • 便捷的数据集接口
  • 敏捷的迭代能力

在这里插入图片描述

  • 丰富的模型支持

部署

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

智能体

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

在这里插入图片描述

uncle_ll
关注
  • 9
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
FME学习之旅---day27
summer_corner的博客
05-17 193
我们付出一些成本，时间的或者其他，最终总能收获一些什么。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1089
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
WEB转Flutter基础学习笔记（内含vue和flutter对比）
小易不止于搬砖的博客
05-17 666
笔者是一名web前端，记录在转栈flutter时的学习笔记，内涵和vue的对比，能够辅助前端同学更容易理解flutter
Page对象的学习
2301_77523055的博客
05-14 1003
ASP.NET允许开发者创建自定义控件和用户控件来扩展页面的功能。自定义控件是从现有的ASP.NET控件派生出来的新控件，而用户控件则是将多个控件组合成一个可重用的单元。这些控件可以像其他ASP.NET控件一样在页面上使用，并通过Page对象进行交互。Page_Init主要用于在控件加载之前进行初始化设置和添加事件处理程序。Page_Load主要用于处理页面回发和加载数据，以及执行其他需要在页面加载时完成的逻辑。由于Page_Init在Page_Load之前触发，因此在Page_Init。
学习kong官方文档
好好学习日记
05-17 270
当然，我会用更简洁的方式重新解释这两个概念：Helm和Kubectl是Kubernetes生态系统中常用的两个工具，它们各自有不同的用途：
推荐系统学习笔记（一）
weixin_44880995的博客
05-15 145
同类策略（精排中的两种模型）天然互斥，并且（两条召回通道）效果会相互影响，避免干扰。反转：有的指标立刻影响，有的需要长期观测-------尽快推全也可以长期观测。10%作为holdout桶，实验使用剩余的90%，做diff（需要归一化）不同策略（添加召回通道，优化粗排模型）通常不会干扰，可以作为正交的两层。保留10%，完全不受实验影响，可以考察整个部门对业务指标的贡献。同层互斥----避免一个用户被两个实验影响。不同层正交----每层独立随机分配用户。推全：新层，与其他层正交，90%用户。
RustGUI学习（iced/iced_aw）之扩展小部件（十九）：如何使用context_menu部件来创建右击菜单？
用沸腾的热血，支付我们的人生吧！
05-15 66
本专栏是学习Rust的GUI库iced的合集，将介绍iced涉及的各个小部件分别介绍，最后会汇总为一个总的程序。iced是RustGUI中比较强大的一个，目前处于发展中（即版本可能会改变），本专栏基于版本0.12.1.
DB类的学习
2301_77523055的博客
05-15 365
"不返回结果集" 意味着执行 SQL 语句后，你不会得到一个可以逐行读取的数据集。相反，你可能会得到一个表示受影响的行数的整数，或者只是一个表示命令是否成功执行的确认。
docker学习和常用命令
OutRoading的博客
05-14 183
镜像仓库datahub。
ptrade从零开始学习量化交易第3期【如何写一个简单但是完整的策略】
GJ57017_wx的博客
05-17 130
开始写策略 简单但是完整的策略 先来看一个简单但是完整的策略: def initialize(context): set_universe('600570.SS') def handle_data(context, data): pass 一个完整策略只需要两步: set_universe: 设置我们要操作的股票池，上面的例子中，只操作一支股票: '600570.SS'，恒生电子。所有的操作只能对股票池的标的进行。 实现一个函数: handle_data。 这是一个完整的策略，但
Android OpenMAX（八）如何学习OMXNodeInstance
青山渺渺
05-15 234
OMXNodeInstance学习技巧
【AI学习】简单聊聊后训练（Post-Training）的重要性
最新发布
bylander的博客
05-17 629
模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。
线性回归学习笔记
julyclj55555的博客
05-15 265
换句话说，多元线性回归可以有足够的精确性，但对于该精确性的合理解释会比较难，因为在多个属性中，可能有其中多组子属性的组合都能拟合到近似最优的模型效果，但对不同组的子属性的组合解释，会因为属性不同而有很大区别，这就是统计学家莱奥·布雷曼口中的“罗生门”（Rashomon）。它的值越大代表，拟合的结果越可信；将“罗生门”深挖一步，就是机器学习和统计学在认识论上的差异：统计学讲究的是“知其然，知其所以然”，它不仅要找出数据之间的关联性，还要挖出背后的因果性，给计算出的结果赋予令人信服的解释才是统计的核心。
canvas学习笔记-透明度
m0_51181022的博客
05-17 446
在上面画一系列半径递增的半透明圆。圆叠加得越多，原先所画的圆的透明度会越低。通过增加循环次数，画更多的圆，从中心到边缘部分，背景图会呈现逐渐消失的效果。方法类似，就多了一个用于设置色彩透明度的参数。它的有效范围是从 0.0（完全透明）到 1.0（完全不透明）。里所有图形的透明度，有效的值范围是0.0（完全透明）到1.0（完全不透明），默认值是1.0。第二个例子和上面的那个类似，不过不是画圆，而是画矩形。可以分别设置轮廓和填充样式，因而具有更好的可操作性和使用灵活性。
国内大语言模型还有哪些？
06-06
国内目前比较知名的大型语言模型主要包括： 1. 百度的ERNIE（Enhanced Representation through Knowledge Integration） 2. 阿里巴巴的ALBERT（A Lite BERT） 3. 华为的GPT（Generative Pre-trained Transformer） ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值