书生·浦语大模型训练营第五次课笔记

最新推荐文章于 2024-07-06 16:15:01 发布
最新推荐文章于 2024-07-06 16:15:01 发布
阅读量343 收藏 10
点赞数 5
文章标签： 笔记 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adela0546/article/details/136005279
版权

LMDeploy大模型量化部署实践

在这里插入图片描述

1、大模型部署背景

在这里插入图片描述
在这里插入图片描述

2、LMDeploy简介

2.1、LMDeploy简介

在这里插入图片描述

2.2、推理性能

在这里插入图片描述

2.3、核心功能–量化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4、核心功能–推理引擎TurboMind

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.4、核心功能–推理服务api server

在这里插入图片描述

Adela0546
关注
  • 5
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生·浦语大模型训练营第三次课笔记
Adela0546的博客
01-13 976
首先，对于以本地文档形式存在的个人知识库，会使用Unstructed Loader组件来加载本地文档，这个组件会将不同格式的本地文档统一转换为纯文本格式。然后通过Text Splitter组件对提取出来的纯文本进行分割成chunk，再通过开源词向量模型Sentence Transformer将文本段转化为向量格式存储到基于Chroma的相对数据库中。
书生·浦语大模型训练营第六次课笔记
Adela0546的博客
02-17 400
OpenCompass大模型评测
书生·浦语大模型训练营第一次课笔记
Adela0546的博客
01-07 450
书生·浦语大模型介绍
书生浦语大模型实战营第四次课笔记
qq_40831032的博客
01-14 1191
以数据集为例基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。
第二期书生浦语大模型训练营第五次作业
chao_666666的博客
04-16 297
安装好环境，并成功激活。
书生·浦语大模型实战营第四节课笔记及作业
zpc1219的博客
01-13 1019
大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。但是如果直接把大模型的知识用于生产实践，会发现回答不大满意。微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。
书生·浦语大模型训练营 第一课 笔记
01-05 711
实验室提出的开源评测体系OpenCompass，是全球领先的评测体系，提供了六大维度和超过80个数据集，以及四十多万道评测题目。5. XTuner支持微调不同任务和兼容不同数据格式，同时支持主流数据集和训练引擎，并支持Llama，Qwen，ChatGLM等模型。3. 中量级模型以20B为代表，参数量为200亿，能够在模型能力和推理代价之间取得平衡，并提供定制高精度模型的规模。4. 重量级模型以123B为代表，参数量达到千亿级，具备强大的性能，包括推理能力、知识能力、理解和对话能力。
书生浦语大模型实战营第二期 第二次课笔记
SunInCrack的博客
04-03 366
介绍八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳等实战营优秀作品。- 通过InternLM2-Chat-7B运行Lagent智能体Demo。4. 实战：使用Lagent运行InternLM2-Chat-7B模型。- 启动InternLM-XComposer2-vl进行图片理解。- 运行InternLM2-Chat-7B模型的智能体Demo。- 部署InternLM2-Chat-1.8B模型进行智能对话。- 部署实战营优秀作品八戒-Chat-1.8B模型。
书生浦语大模型实战营第二期 第七次课笔记
SunInCrack的博客
04-30 191
上海人工智能实验室发布的大模型开源开放评测体系。特点开源可复现全面的能力维度丰富的模型支持分布式高效评测多样化评测范式灵活化拓展客观评测：自建客观数据集的步骤。主观评测：自建主观数据集的步骤。本节课详细介绍了OpenCompass评测体系，包括其重要性、特点、评测对象、工具架构、设计思路、评测方法、快速开始流程、环境配置、数据准备、启动评测、自定义数据集、数据污染评估以及大海捞针测试。
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
2024-07-05 base SAS programming学习笔记9(variables)
ddjdd1234的博客
07-05 314
由于SAS 每次都会执行IF THEN 语句，因此在对同一个变量进行操作时使用IF THEN ELSE IF THEN 语句来提高效率，避免重复使用IF-THEN 语句，在碰到TRUE的情况则会跳出该IF 语句。如果不存在select expression ，则会对每个when 语句判断TRUE或FALSE,SAS只会执行首次判断为TRUE的语句，一旦存在TRUE语句则跳出不对其他WHEN语句进行判断。在每次DO循环前检查是否满足WHILE的条件，只有满足WHILE的条件才继续循环，如果不满足则终止循环。
昇思MindSpore学习笔记2-01 LLM原理和实践 --基于 MindSpore 实现 BERT 对话情绪识别
muren的专栏
07-02 996
通过识别BERT对话情绪状态的实例，展现在昇思MindSpore AI框架中大语言模型的原理和实际使用方法、步骤。
【PB案例学习笔记】-27制作一个控制任务栏显示与隐藏的小程序
再小的帆也能远航，把分享变成一种习惯
07-03 333
这是PB案例学习笔记系列文章的第27篇，该系列文章适合具有一定PB基础的读者。通过一个个由浅入深的编程实战案例学习，提高编程技巧，以保证小伙伴们能应付公司的各种开发需求。
【算法笔记自学】第 5 章 入门篇（3）——数学问题
最新发布
qq_62704693的博客
07-06 153
【代码】【算法笔记自学】入门篇（3）——数学问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值