使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署

最新推荐文章于 2024-10-12 12:26:23 发布
最新推荐文章于 2024-10-12 12:26:23 发布
阅读量186 收藏
点赞数 1
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pwisnsijs/article/details/141473631
版权

进入虚拟环境，安装依赖

依赖安装完成后，创建路径和文件并且粘贴代码

启动demo

接下来使用Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型

克隆仓库，启动Streamlit服务

完成端口映射

启动成功！

接下来生成故事：

pwisnsijs
关注
部署 InternLM2-Chat-1.8B 模型进行智能对话
garyyu2200的博客
05-28 727
部署InternLM2-Chat-1.8B模型进行智能对话
书生训练大模型之使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署
chasemydreamidea的博客
09-22 262
二：具体说明一：概述这篇文章主要介绍的如何利用8G显存玩转书生大模型Demo，首先先来介绍一下这个模型的特点，书生·浦语Cli*Web Demo这个主要是1.8B但性能不俗性的InternLm2端侧模型，浦语·灵笔LMDeployGradio Demo主要是自由形式的文本，图像组合的视觉语言大模型InternLM-XComposer2，书生·万象LMDeployGradio Demo主要是首个综合性能媲美美国国际闭源商业模型的开源多态模型大模型InternVL2。二：具体说明。
[书生浦语] 大模型实战：部署 InternLM2-Chat-1.8B
mycomin的博客
05-24 559
通过 Intern Studio的部署实习，配合实战营 Tutorial 同步完成学习任务。课程地址：https://github.com/InternLM/Tutorial经验总结报名课程可以获得邀请码创建开发机后可能需要排队几分钟执行第一个命令（搭建环境）需要一个小时，因此不要选择过短自动释放万一不小心关掉了连上的服务器标签页，没关系，刷新后不会丢失当前任务。
Cli Demo、Streamlit Web Demo部署 InternLM2-Chat-1.8B 模型
qq_62780581的博客
08-05 361
使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。
书生·浦语2.0(InternLM2)大模型实战--Day01 趣味 Demo | 部署InternLM2-Chat-1.8B模型
sinat_29950703的博客
03-31 1184
了解完[书生·浦语InternLM2大模型实战--基本认知] 后，就可以做 Homework-demo 啦 Day01的作业基本是按照GitHub链接完成 [GitHub -- 轻松玩转书生·浦语大模型趣味 Demo]
书生·浦语大模型实战：部署 InternLM2-Chat-1.8B（lesson 2-1）
weixin_39291058的博客
05-14 768
创建 Intern Studio 开发机，通过 Modelscope 下载 InternLM2-Chat-1.8B 模型，完成 Client Demo 的部署和交互。
InternLM2-Chat-1.8B 模型的部署
Rocket,Qian的博客
07-31 350
vscode里自动完成端口映射，浏览器访问 http://localhost:6006。使用 Streamlit 部署 InternLM2-Chat-1.8B 模型。先把相关代码clone到本地demo文件夹。任务：根据prompt，生成300字小说。
Cli Demo 部署 InternLM2-Chat-1.8B 模型
xingloving的博客
08-21 153
【代码】Cli Demo 部署 InternLM2-Chat-1.8B 模型。
【InternLM 笔记】使用InternLM2-chat-1.8b制作时事问答知识库
JeffDing
03-15 610
通过将上述代码封装为 run_gradio.py 脚本，直接通过 python 命令运行，即可在本地启动知识库助手的 Web Demo，默认会在 7860 端口运行，接下来将服务器端口映射到本地端口即可访问。将得到的 PTH 模型转换为 HuggingFace 模型，即：生成 Adapter 文件夹。数据集csv转json脚本（csv2jsonl.py）模型版本： InternLM2-chat-1.8b。将得到的jsonl文件拷贝到工作目录下准备微调。LangChain 依赖包。下载 NLTK 相关资源。
NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学
丨汀、的博客
04-14 1577
NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学
阿里 通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载
weixin_42357472的博客
09-04 3494
参考： https://github.com/QwenLM/Qwen-7B https://github.com/QwenLM/Qwen-VL下载模型： https://huggingface.co/Qwen 下载好代码与模型后运行： 下载好代码与模型后运行：运行QwenQwen-VL-Chat-Int4 大概需要15G显卡：（运行报错基本可以对应升级包的库即可 accelerate、peft等）
ValueError: Unrecognized configuration class ＜class transformers_modules.Qwen-7B-Chat...解决方案
weixin_43178406的博客
08-08 5万+
本文主要介绍了ValueError: Unrecognized configuration class
书生·浦语 大模型（学习笔记-2）InternLM2 InternLM2-Chat-1
2401_83817343的博客
04-22 414
目录一、配置基础环境二、下载 InternLM2-Chat-1.8B 模型三、实战：部署实战营优秀作品 八戒-Chat-1.8B 模型四、 实战：使用 Lagent 运行 InternLM2-Chat-7B 模型五、实战：实践部署 浦语·灵笔2 模型图片理解实战（小米su7）1.首先进入控制台进行环境配置（开始没有开发机），创建后默认只有8小时的使用时间（自己可更改）2.进入后选择terminal进行后续操作（选择JupyterLab才有改界面）接下来的命令：1.需要创建一个新的目录后进行下载2.创建下载文
huggingface-cli: error: invalid choice: ‘download‘解决方案
热门推荐
weixin_43178406的博客
11-09 6万+
本文主要介绍了huggingface-cli: error: invalid choice: 'download’解决方案，希望能对学习使用huggingface-cli的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【人工智能学习之PaddleOCR快速上手】
最新发布
Jiagym的博客
10-12 675
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
python中zip()与zip(*)的用法解析
m0_51579041的博客
10-08 268
zip()与zip(*)的用法解析
task【XTuner微调个人小助手认知】
m0_53291740的博客
10-07 829
下面我们将根据项目的需求一步步的进行修改和调整吧！在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。为了训练过程中能够实时观察到模型的变化情况，XTuner 贴心的推出了一个。
gligen安装部署笔记
jacke121的专栏
10-08 243
gligen安装部署笔记
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值