书生·浦语大模型实战营第二期 第5节作业

最新推荐文章于 2024-11-05 15:26:40 发布
最新推荐文章于 2024-11-05 15:26:40 发布
阅读量198 收藏
点赞数 3
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lacy_zhang/article/details/137744045
版权

完成以下任务，并将实现过程记录截图：

  • 配置lmdeploy运行环境
  • 下载internlm-chat-1.8b模型
  • 以命令行方式与模型对话

具体作业完成情况如下：

一、配置lmdeploy运行环境

创建开发机，创建conda环境

二、下载internlm-chat-1.8b模型

三、以命令行方式与模型对话

四、使用LMDeploy与模型对话

五、使用LMDeploy与模型对话

将设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。

现存的使用量明显下降了，从7856下降到6192.

lacy_zhang
关注
【书生浦语大模型实战营第三期】入门岛 Git基础知识
weixin_40574825的博客
07-25 327
1、Fork 目标项目 https://github.com/InternLM/Tutorial。2、切换到自己的仓库，获取项目链接，克隆项目，完成之后查看项目分支等信息。【书生浦语大模型实战营第三期】入门岛 Git基础知识。5、创建个人破冰文件，并提交到新建的分支。
书生·浦语大模型实战营第二期学习笔记及作业（7）
qq_39310059的博客
04-26 1386
视频链接：OpenCompass 大模型评测实战_哔哩哔哩_bilibiligithub教程链接：https://github.com/InternLM/Tutorial/blob/camp2/opencompass/readme.md1、大模型评测的重要性以及评测所面临的挑战，并详细讲解了司南评测体系2.0的实现方法和特点。首先，研究评测对于我们全面了解大型语言模型的优势和限制至关重要。尽管许多研究表明大型语言模型在多个通用任务上已经达到或超越了人类水平，但仍然存在质疑，即这些模型的能力是否只是对训练数据
书生·浦语大模型实战营第二期 第3节作业
JOCC_JOCC的博客
04-19 492
第六轮我提出紧贴实事的社会问题，豆姐用时最长，给出的是比较教科书的回答，并且附上了一些自己的想法总结，且标注了参考文献的出处和建议。将书名、出版社、作者及自己分析总结的体会整合给了我。第三轮我提出了一个文献中没有显著罗列的抽象时间问题，茴香豆根据文献材料，对我的抽象问题进行了回答，并准确的先后时间轴的排序。本次导入的课题是《西方欧洲音乐的历史》，我导入了一篇WORD版本的50页的材料，作为基础文献，并进行了5论对话。第二轮我提出了一个乐理概念，茴香豆讲文献中关于该概念的相关内容进行的索引。
【书生浦语大模型实战营第三期】入门关卡Python
u013571134的博客
07-09 643
运行完全部代码后来到最后一步，可以看到count_res里已经是我们需要的结果了。
书生浦语大模型实战营第三期 L1 书生大模型全链路开源体系学习笔记
yizhiboshanshan的博客
07-24 271
总结：书生·浦语大模型构建了全链路开源体系，并深入介绍了其发展历程与独特特点。大模型作为通用人工智能的关键路径，已展现出解决多元化任务与模态的强大能力。具体而言，书生葡语大模型凭借其超长上下文处理能力，实现了综合性能的全面飞跃，不仅支持结构化创作，还确保了数据分析的可靠性。此外，该模型还强化了内生计算能力并集成了先进的代码解释器，在多个能力维度上均取得了优异的评测成绩。
书生浦语大模型实战营
weixin_66889864的博客
06-09 823
这里要考察业务本身是否需要跟环境进行交互，如果这个业务是需要与环境进行交互的，比如需要调用外部API，或者与已有的数据库进行交互，那么就需要构建一个智能体（Agent），完成相关业务。如果算力足够，可能就需要进行模型的续训，或者全参数的微调，当然，这个花的钱就比较多。如果不是足够复杂，可以直接使用该模型，加上Prompt工程，就可以实现相关的业务；XTuner可以适合不同的生态，支持不同的算法，支持不同的开原生态、不同的加速方式和Nvidia的各级显卡。关注不同维度的能力，特别是专业上的能力。
第二期书生·浦语大模型实战营优秀项目一览
qq_39967751的博客
06-25 524
书生·浦语社区于 2023 年年底正式推出了书生·浦语大模型实战营系列活动，至今已有两期五批次同学参加大模型学习、实战，线上课程累计学习超过 10 万人次。 实战营特设项目实践环节，提供 A100 算力支持，鼓励学员动手开发。第 2 期实战营共收到 500 多个项目申报，我们在众多的项目中为大家精选了 23 个优秀项目，现在就让我们一起欣赏下学员们的成果吧，看看他们是怎么将奇思妙想带入现实~
【书生浦语大模型实战营第三期】基础岛 InternLM + LlamaIndex RAG 实践
weixin_40574825的博客
08-04 971
llamaindex+Internlm2 RAG实践。
书生·浦语大模型实战营第六节课作业
stone_tigerLI的博客
02-21 602
这次评估不知道为什么没有结果。
书生·浦语大模型实战营第二期作业五
u012724887的专栏
06-16 277
1、开发机创建conda环境：2、安装第三方库：3、新建pipeline_transformer.py文件，并运行：4、运行结果：5、执行模型：6、与大模型进行对话：7、默认占有的显存：8、--cache-max-entry-count参数设置为0.5后占用的显存：9、--cache-max-entry-count参数设置为0.01后占用的显存：10、使用W4A16量化：11、将kvcache降低为0.01，显存变为：12、启动api服务：13、网页客户端连接api服务器：
书生浦语大模型实战课（第二期） 第二课作业
04-04
### 书生浦语大模型实战课（第二期）第二课作业知识点总结 #### 一、使用Powershell配置端口及权限问题处理 在学习过程中，遇到的第一个问题是在使用Powershell配置端口时出现问题，尝试修改端口号并复制密码，但...
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
[自用，更新自day5]瑞吉外卖代码及笔记
lapiii的博客
11-01 1110
当使用ThreadLocal维护变量时，ThreadLocal为每个使用该变量的线程提供独立的变量副本，所以每一个线程都可以独立地改变自己的副本，而不会影响其它线程所对应的副本。Mybatis Plus公共字段自动填充，也就是在插入或者更新的时候为指定字段赋予指定的值，使用它的好处就是可以统一对这些字段进行处理，避免了重复代码。因为在分页查询的Dish的records(菜品记录中)，只有这个菜品所属的categoryId，但是我们需要分页的时候展示的是菜品名字。
RK3588开发笔记：CPU、GPU、DDR和NPU模式设置与查询
flypig has a dream！
11-05 209
以下是关于RK3588开发板在和NPU模式设置与查询的开发笔记，希望可以帮助开发者深入了解该芯片的硬件资源配置和调试方法。提示：以下是本篇文章正文内容，下面案例可供参考以上是对RK3588中CPU、GPU、DDR和NPU的模式设置与查询方式的总结。合理设置这些模块的工作频率和模式，可以显著优化RK3588在不同场景中的性能和功耗。
【Kotlin】 基础语法笔记
xuanyulevel6的博客
10-31 937
kotlin基础语法学习笔记
嵌入式通信协议：MODBUS简明学习笔记
weixin_73867577的博客
11-02 343
学习Modbus的简明学习笔记
软件测试学习笔记丨Vue常用指令-条件渲染（v-if）
最新发布
ceshiren_com的博客
11-05 492
v-show只是简单控制dom元素的display属性。v-if通过操纵dom元素来进行切换显示。
SPI通信详解-学习笔记
qq_45059758的博客
11-04 501
SPI通信
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值