8G 显存玩转书生大模型 Demo

最新推荐文章于 2024-09-30 14:16:32 发布
最新推荐文章于 2024-09-30 14:16:32 发布
阅读量140 收藏 3
点赞数 8
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qpj297/article/details/140753825
版权

Cli Demo 部署 InternLM2-Chat-1.8B 模型

创建环境以及应用安装依赖步骤省略

复制命令行对话的python代码

部署完成

不太聪明的样子

Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型

streamlit run /root/demo/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006

LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

LMDeploy 部署 InternVL2-2B 模型

 lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1

描述和刚才的类似

奇葩菌2333
关注
8G显存一键训练，解锁Llama2等隐藏能力！XTuner带你玩转大模型
u013250861的博客
10-13 376
自 ChatGPT 发布以来，大模型的强大让人们看见了通用人工智能的曙光，各个科技大厂也纷纷开源自家的大语言模型。然而，大模型也意味着高昂的硬件成本，让不少平民玩家望而却步。为了让大模型走入千家万户，赋能百业，上海人工智能实验室开发了低成本大模型训练工具箱 XTuner，旨在让大模型训练不再有门槛。通过 XTuner，最低只需显存，就可以打造专属于你的 AI 助手。
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 1013
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
基础岛——8G 显存玩转书生大模型 Demo
qq_44407313的博客
08-08 350
InternLM-XComposer2-VL-1.8B 是基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。使用 LMDeploy 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。使用 LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型。Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型。
8G 显存玩转书生大模型 Demo复现过程
2303_77267815的博客
07-28 270
在demo环境中创建demo文件夹和cli_demo文件。将相关代码写入文件后运行文件并试验。
【书生·浦语实战营】基础岛第2关：8G 显存玩转书生大模型 Demo
qq_43959624的博客
07-31 934
‌具体来说，‌当temperature设置为较高的值时，‌模型在选择下一个token时会倾向于选择概率较低的选项，‌从而产生更具创新性和多样性的输出。‌相反，‌当temperature设置为较低的值时，‌模型会更偏向于选择概率较高的选项，‌产生更准确、‌更确定性的输出。TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。
大模型实战—通义千问大模型微调
05-26 6万+
这个参数仅针对 llama 类型的模型结构，默认勾选的是 q_proj 和 v_proj，具体的名词不容易理解，我就不多说了，可以简单的认为是对模型的理解能力进行优化，一般这两个就够了。当这个值较高时，适应新任务的能力会增强，但是对基础模型的影响会比较大，有过拟合的风险，尤其是在数据量有限的情况下。为了方便测试，我在云环境也创建了一个镜像，相关的环境都配置好了，可以直接使用几个国内开源的大语言模型，比如清华智谱的ChatGLM3-6B、零一万物的Yi-34B，还有最近阿里云开源的Qwen1.5-32B。
FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析
热门推荐
herosunly的博客
05-03 11万+
本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 模型加载显存占用大小 3. 不同精度是否与硬件适配
大模型微调部署实战及类GPT工具的高效使用
herosunly的博客
07-24 6万+
本文主要介绍了专栏《大模型微调部署实战及类GPT工具的高效使用》的核心内容，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 专栏亮点 3. 你的收获 4. 详细目录
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1137
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
rjszcb的博客
09-30 414
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
Python精选200Tips：171-175
AnFany
09-26 1220
Python深度学习的项目
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
最新发布
GIS潮流
09-30 590
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
Her来了，OpenAI正式发布高级语音模式
shadowcz007的博客
09-25 465
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
持续学习与创新能力的双重提升
thinkers
09-25 498
  ---
numpy is not available
xfsong2012的博客
09-27 317
在测试第一个程序的时候，出现Numpy is not available的错误，根据。安装的时候，安装的是最新版的numpy，检查numpy的版本为2.1.1版。我的pytorch版本为1.12.1，选择不高于1.21的版本即可。的办法知道是因为numpy与pytorch版本不一致造成的。2、安装需要的numpy版本，比如1.21版。
python 实现linear discriminant analysis线性判别分析算法
luthane的博客
09-26 504
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种用于降维和分类的监督学习算法。它通过最大化类间散度和最小化类内散度来找到最佳投影方向，使得不同类别的数据在新的空间中尽可能分开，同一类别的数据尽可能靠近。LDA的基本思想LDA的基本思想是将多维数据映射到低维空间，同时保留数据之间的类别差异。具体来说，LDA通过计算类内散度矩阵（描述同一类别内部数据的分布情况）和类间散度矩阵（描述不同类别之间的差异），然后求解这两个矩阵的广义特征值问题，找到最佳的投影方向。
OTP语音播报芯片-实现智能门铃叮咚方案
jiuxin666的博客
09-26 522
九芯电子推出功能强大、外围简单的门铃叮咚芯片NV040D，音质优美，性能稳定，可定制性强，满足智能门铃行业快速简捷设计需求，引领智能门铃市场向智能化、个性化发展。
从0到1训练私有大模型技能与应用实现
DAMOXINGHAITAI的博客
09-25 1269
LoRA，英文全称 Low-Rank Adaptation of Large Language Models（中文为大语言模型的低阶适应）。这是微软的研究人员为了解决大语言模型微调而开发的一项技术，其 github 地址为 https://github.com/microsoft/LoRA ，当前已经得到HuggingFace 的 PEFT库 https://github.com/huggingface/peft 的支持。对于大语音模型来说，其参数量非常多。
6g显存和8g显存区别大吗
06-02
6GB显存和8GB显存的主要区别在于显存大小，即可以存储在显存中的数据...一些大型模型，例如BERT、GPT等，需要较大的显存才能训练。如果显存太小，就无法进行训练。因此，在选择模型的时候，也需要考虑显存大小的限制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值