大模型实战营Day1 书生·浦语大模型全链路开源体系

最新推荐文章于 2024-09-26 17:23:00 发布
最新推荐文章于 2024-09-26 17:23:00 发布
阅读量814 收藏 24
点赞数 14
分类专栏： 书生·浦语大模型实战营 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45898162/article/details/136103180
版权

大模型实战营Day1 书生·浦语大模型全链路开源体系

大模型实战营Day1 书生·浦语大模型全链路开源体系

大模型为发展通用人工智能的重要途经

从最近两年的发展来看，更倾向于用一个模型来尽可能涵盖所有任务（如
chatgpt）

  1. 专用模型：针对特定任务，一个模型解决一个问题
  2. 通用大模型：一个模型应对多种任务、多种模态

书生·浦语大模型开源历程

书生·浦语大模型系列

已经覆盖了轻量级、中量级、重量级三个级别，7B和20B都是开源可用的。
20B开源大模型的性能以不足三分之一的参数量，达到了非常好的性能。

不同量级的模型的能力和使用场景：

轻量级InternLM-7B（社区低成本可用最佳模型规模）：70亿模型参数，小巧轻便，便于部署；10000亿训练token数据，信息全面，能力多维；具备长语境能力，支持8k语境窗口长度；具备通用工具调用能力，支持多种工具调用模板

中量级InternLM-20B（商业场景可开发定制高精度 较小模型规模​）：200亿参数量，在模型能力与推理代价间取得平衡；采用深而窄的结构，降低推理计算量但提高了推理能力；4k训练语境长度，推理时可外推至16k

重量级InternLM-123B（通用大语言模型能力全面覆盖 千亿模型规模）：1230亿模型参数，强大的性能；具备极强的推理能力、全面的知识覆盖面、超强理解能力与对话能力；准确的API调用能力，可实现各类Agent

从模型到应用

根据实际应用需求实现大模型到智能体、微调、评测到部署
在这里插入图片描述

书生·浦语全链条开源开放体系

涵盖数据、预训练、微调,、部署、评测和应用
在这里插入图片描述

数据

书生·万卷是全链条开源开放体系的数据集，同时OpenDataLab平台有非常的开放数据可供下载。
在这里插入图片描述
在这里插入图片描述

预训练

在这里插入图片描述

微调

在这里插入图片描述
微调XTuner
优化加速, 8G ROM 显卡调7B模型。支持全参数微调、LoRA 等低成本微调，提供增量续训和有监督微调。
在这里插入图片描述

部署LMDeploy

在这里插入图片描述
全链路部署，性能领先，每秒生成2000+ tokens。提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务。

大模型语言的特点带来了相应的技术挑战, 采用不同的优化部署方案；
使用LMDeploy, 模型轻量化, 推理和服务；
有优秀的推理性能, 静态/动态
在这里插入图片描述

评测 OpenCompass平台

在这里插入图片描述
全方位评测，性能可复现。80套评测集，40万道题目。

评测体系6大维度：

学科：初中考试、中国高考、大学考试、语言能力考试、职业资格考试

语言：字词释义、成语习语、语义相似、指代消解、翻译

知识：知识问答、多语种知识问答

理解：阅读理解、内容分析、内容总结

推理：因果推理、常识推理、代码推理、数学推理

安全：偏见、有害性、公平性、隐私性、真实性、合法性

在这里插入图片描述
在这里插入图片描述

智能体应用

智能体以大模型为核心，进行调用、规划、推理和执行。
在这里插入图片描述
轻量级智能体框架：AppAgent
在这里插入图片描述

教程链接：书生·浦语大模型全链路开源体系
书生·浦语大模型实战营Github仓库

认真学习的地蛋
关注
专栏目录
熬夜整理模型下载、量化、代码调用可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等
代码讲故事
01-31 1710
熬夜整理模型下载、量化、代码调用，可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。 * Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
书生·浦语大模型实战营Day01全链路开源体系
个人小站：www.xiaowangyun.com
04-01 917
书生·浦语大模型全链路开源体系
书生·浦语大模型实战营合集
个人小站：www.xiaowangyun.com
04-18 1006
书生·浦语大模型实战营
第三期书生大模型实战营 打卡（作业持续更新）
weixin_44221112的博客
07-26 461
第三期书生大模型实战营闯关记录
书生浦语Day1
qq_40167280的博客
01-04 412
Highlight：Xtuner框架，Opencompass评测榜单， Lagent轻量级智能体和AgentLego工具箱。
《书生大模型实战营第3期》入门岛 学习笔记与作业：Python 基础知识
shiter编写程序的艺术
07-21 1067
python开发简介：【集成开发环境 IDE】python开发简介：【Conda，Pip】虚环境搭建、配置python开发简介：【jupyter notebook】实战配置python开发简介： 编码规范与工程基础实践使用 jupyter hub /lab搭建机器学习工作台使用跨平台的visual studio code 进行python 开发（综合内容老版本）python 开发环境搭建（综合内容老版本）其实Python 的环境配置在所有编程技术栈中是相对简单的，由于conda，pip 的存在。
大模型实战营 笔记和作业集合
li4692625的博客
01-29 550
【大模型实战营Day4 XTuner大模型单卡低成本微调实战 - CSDN App】http://t.csdnimg.cn/HQMoP。【大模型实战营Day5 LMDeploy大模型量化部署实践 - CSDN App】http://t.csdnimg.cn/xpust。【大模型实战营Day6 OpenCompass 大模型评测 - CSDN App】http://t.csdnimg.cn/OeBh7。
上海人工智能实验室的书生·浦语大模型学习笔记--day 1
weixin_53443275的博客
01-08 1548
今天学习了书生·浦语的全链路开源体系，它包括了数据、预训练、微调、部署、评测和应用这六个方面。
全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）
代码讲故事
03-20 1959
全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）
Text2SQL中不同数据库SQL之间转换的实战代码
热门推荐
herosunly的博客
06-27 8万+
本文主要介绍了Text2SQL中不同数据库SQL之间转换的实战代码，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. SQL转换实战代码
NLP之GPT-3：NLP领域没有最强，只有更强的模型—GPT-3的简介(本质、核心思想、意义、特点、优缺点、数据集、实际价值，模型强弱体现，开源探讨)、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-09 2万+
​ NLP之GPT-3：NLP领域没有最强，只有更强的模型—GPT-3的简介(本质、核心思想、意义、特点、优缺点、数据集、实际价值，模型强弱体现，开源探讨)、安装、使用方法之详细攻略 目录 GPT-3的简介 GPT-3的安装 GPT-3的应用—免费体验API服务 推荐文章 NLP之GPT-3：NLP领域没有最强，只有更强的模型—GPT-3的简介(本质、核心思想、意义、特点、优缺点、数据集、实际价值，模型强弱体现，开源探讨，GPT系列对比与总结)、安装、
基于AI大模型实现自然语言转SQL、SQL解释、SQL优化和SQL转换
程序员光剑
06-21 1万+
自定义AI可以是用户自己部署的任意AI模型，例如ChatGLM、ChatGPT、文心一言、通义千问等等，但是自定义的接口输入和输出需要符合自定义的协议规范才可快速使用，否则可能需要二次开发。代码中提供了两个DEMO，只需要配置自定义AI接口地址，以及接口是否流式输出即可查看。具体使用中可以参考DEMO接口来编写自定义接口，或者直接在DEMO接口中进行二次开发，封装自己的自定义接口自定义的流式输出接口配置DEMO自定义的非流式输出接口配置DEMO。
【大模型】Lamini：用于快速定制模型的 LLM 引擎 | Introducing Lamini, the LLM Engine for Rapidly Customizing Models
程序员光剑
04-29 9190
今天，您可以试用我们的托管数据生成器来训练您自己的 LLM、权重和所有内容，而无需启动任何 GPU，只需使用 Lamini 库中的几行代码。请注意，虽然我们发现 OpenAI 模型的平均表现更好，但它们的许可限制了将生成的数据用于类似于 ChatGPT 的训练模型的商业用途。随着每天发布新的 LLM，我们将默认值更新为性能最佳的模型。Lamini 数据生成器是一个 LLM 流水线，它采用你最初的 100 多条指令的小集合，与预期的响应配对，生成 50k+ 新对，灵感来自 Stanford Alpaca。
【AI人工智能】用于代码生成的大型语言模型 Large Language Models for Code Generation
程序员光剑
06-09 1万+
大型语言模型通常采用Transformer等注意力机制架构,能够有效捕获输入序列中长程依赖关系。具体而言,编码器将输入序列映射为上下文表示,解码器则根据上下文和已生成的部分序列预测下一个token。代码生成任务中的输入序列可以是自然语言的问题描述、函数签名、测试用例等形式。模型通过学习大量的代码-自然语言语料对,建立两者之间的映射关系。在生成阶段,给定输入序列,解码器基于学习到的知识逐步推理和生成目标代码。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 543
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1341
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
【人工智能】多模态AI：如何通过融合文本、图像与音频重塑智能系统未来
最新发布
qq_42978535的博客
09-26 692
是一项令人兴奋的新兴技术，旨在通过结合文本、图像和音频等多种数据模态，打造更加智能化和人性化的系统。随着深度学习和自然语言处理（NLP）的飞速发展，多模态AI正在为下一代智能系统奠定基础，使它们能够同时理解多种感官信息，并做出更加复杂的决策。例如，在自动驾驶系统中，车载AI不仅需要分析摄像头图像，还需要理解驾驶员的语音指令，同时处理雷达和音频信号。我们将文本和图像的嵌入向量通过拼接的方式融合。在本篇文章中，我们将深入探讨多模态AI的工作原理、技术挑战，以及如何通过代码示例来实现文本、图像与音频的融合。
【LLM论文日更】| 俄罗斯套娃嵌入模型
qq_59084968的博客
09-22 1042
适应性图像检索也达到了效率和精度的权衡，16维度做粗排，2048维度做精排的准确率已经和直接使用2048维度做排序的精度还高，但计算量大幅减小。：为了提高效率，MRL采用了权重绑定技术，即所有线性分类器的权重相同，从而减少内存成本。每个嵌入的前几个维度是一个信息丰富的低维向量，随着维度的增加，表示逐渐变得粗糙。本文将MRL/MRL-E模型与单独训练的低维表征（FF），SVD分解，子网络[2]方法进行了比较。16-32-64-128-256-2048 对前200-100-50-25-10个样本的。
OpenMMLab与计算机视觉基础：AI实战营Day1精华
"本次课程是AI基础实战营的第一天，主要介绍了计算机视觉的基本概念和OpenMMLab开源算法体系。由同济大学的张子豪主讲，内容涵盖了从计算机视觉的基本问题，如图像识别、人脸识别，到更高级的应用如图像生成、风格...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值