基础岛-任务1：书生大模型全链路开源开放体系

晓飞趋势

已于 2024-08-06 22:58:03 修改

阅读量132

点赞数 8

分类专栏：大模型学习路线文章标签：笔记

于 2024-08-06 22:54:10 首次发布

本文链接：https://blog.csdn.net/duankaifei/article/details/140968111

版权

大模型学习路线专栏收录该内容

4 篇文章 0 订阅

订阅专栏

视频地址:

https://www.bilibili.com/video/BV18142187g5/

书生大模型全链路开源开放体系–笔记

技术发展

在这里插入图片描述

inerLM2.5 支持100wtoken

核心技术思路

数据合成

在这里插入图片描述


1.基于规则的构造

代码 公式，函数，数学题解

2.基于模型的数据扩充

代码加注释


3.基于人类反馈的数据生成

强化学习思路，RLHF路子。

全链条开源体系

在这里插入图片描述

数据-》预训练-》微调-》部署-》评测-》应用

开源数据处理工具箱

在这里插入图片描述

数据标注：label llm 开源项目 —说是特别好用。

预训练

在这里插入图片描述

数据并行
流水并行
张量并行
序列并行

微调xtuner

在这里插入图片描述

司南评测

在这里插入图片描述

部署lmdeploy

在这里插入图片描述

部署lmdeploy推理性能对比

在这里插入图片描述

描述为什么需要智能体

在这里插入图片描述

agent智能体任务拆解

在这里插入图片描述

agent可以有点像prompt里的cot （chain of thought) 思维链任务拆解，把每种任务模拟人脑解决。

mindsearch ai搜索引擎的智能体

在这里插入图片描述

huixiagndou知识库构建工具

在这里插入图片描述

1.私有化部署

2.免费商用

InterLM-xcomposer

多模态模型

晓飞趋势

关注

8
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
基础岛-任务1：书生大模型全链路开源开放体系

agent可以有点像prompt里的cot （chain of thought) 思维链任务拆解，把每种任务模拟人脑解决。数据标注：label llm 开源项目 —说是特别好用。数据-》预训练-》微调-》部署-》评测-》应用。
复制链接

扫一扫