8G 显存玩转书生大模型 Demo

已于 2024-08-15 17:40:44 修改
阅读量437 收藏
点赞数 1
文章标签： 机器学习
于 2024-08-07 15:59:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luxu1220/article/details/140994229
版权

其实根据教程至需要几分钟就能把大模型跑起来了，非常的方便。

在简单问答交互试了一下之后，我感觉1.8b的模型还是太小了，玩玩可以，具体做复杂的任务，还是不够的。
在这里插入图片描述在这里插入图片描述

根据视频的介绍，只有20b才基本涌现出了一些智能的感觉，能做一些稍微复杂的任务。
在这里插入图片描述
快来免费体验一下吧

在这里插入图片描述

feelingAI
关注
私有化部署 Llama3 大模型, 支持 API 访问
chenxyuan1tuo的博客
06-18 1354
原文 https://ducafecat.com/blog/llama3-model-api-local通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
核能挑战：8GB显存本地跑Llama 405B！
m0_59164520的博客
08-03 1590
今天是整活时间，我要挑战用GPU跑Llama 3.1！Llama 405B模型有820GB!是8GB显存的！完全放不下，怎么搞呢？太难了！
在8GB显存设备上运行大模型deepseek-r1的终极性价比方案：从8B到32B的全方位优化指南
qq_34376868的博客
03-18 1397
入门用户：选择8B-Q4_K_M，零配置快速部署开发者：14B-Q3_K_S，平衡性能与成本研究需求：32B混合量化，配合SSD扩展。
支持多平台，无需GPU！仅需8G内存即可部署运行大模型
fangfengzhen115的专栏
03-06 2620
支持多平台，无需GPU！仅需8G内存即可部署运行大模型
什么？ 20分钟，构建你自己的LLaMA3应用程序！
m0_59235945的博客
06-12 870
4月19日，Meta发布了最新的大语言模型LLaMA3，具体包括一个8B模型和一个70B模型，上下文长度支持8K，被誉为史上最强开源大语言模型，开源社区的“重磅炸弹”，效果直指GTP4。在诸多评测任务上，LLaMA3都有非常炸裂的效果。8B模型在多项指标中超越了Gemma7B和Mistral 7B Instruct，而70B模型则超越了闭源的Claude 3 Sonnet，和Gemini Pro 1.5。
基础岛——8G 显存玩转书生大模型 Demo
qq_44407313的博客
08-08 440
InternLM-XComposer2-VL-1.8B 是基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。使用 LMDeploy 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。使用 LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型。Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型。
【书生·浦语实战营】基础岛第2关：8G 显存玩转书生大模型 Demo
qq_43959624的博客
07-31 1119
‌具体来说，‌当temperature设置为较高的值时，‌模型在选择下一个token时会倾向于选择概率较低的选项，‌从而产生更具创新性和多样性的输出。‌相反，‌当temperature设置为较低的值时，‌模型会更偏向于选择概率较高的选项，‌产生更准确、‌更确定性的输出。TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。
【24年最新】AI大模型零基础入门到精通学习资料大全，学完你就是LLM大师！
bagell的博客
08-08 707
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，
一文读懂大模型显存需求：从0.5B到70B，你的显卡够用吗？
2401_85373691的博客
02-05 2万+
最小推荐内存基于相应精度计算，包含工作内存和系统预留 **最小推荐内存(FP32)基于全量参数计算，包含工作内存和系统预留。
【大模型 AI 学习】大模型 AI 部署硬件配置方案（本地硬件配置 | 在线GPU）
qq_41859559的博客
10-06 6315
最近想部署一个开源深度学习项目，但是小编的笔记本电脑是8G的集成显存，且没有GPU，性能肯定是不够的。于是小编在小po站上粗浅了解了一下当前: 1. 大模型 AI本地硬件配置和 2. 云上申请GPU算力的两种方式。
8G显存运行Llama 3.1 405B！
新缸中之脑
08-12 2359
我正在接受挑战，在只有 8GB VRAM 的 GPU 上运行 Llama 3.1 405B 模型。Llama 405B 模型有 820GB！这是 8GB VRAM 容量的 103 倍！显然，8GB VRAM 无法容纳它。那么我们如何让它工作呢？
详解GPU显存和batch size的关系
orangerfun的博客
09-15 4910
GPU显存、规格指标；神经网络训练，显存占用
笔记本电脑本地部署ollama大模型（显存不足调用CUDA Unified Memory方法）
热门推荐
m0_67228616的博客
08-14 3万+
ollama个人部署
大模型推理和训练所占用的显存怎么估算？
曾小健3的博客
11-30 3078
我们训练最常用的优化是Adam，而Adam需要同时维护参数的一阶动量和二阶动量两个状态的变量，也就说优化器使用显存是模型权重的2倍。）来加载模型，这样每个参数只占2个字节，所需显存就降为一半，只需要14G显存，那么一张16G的显卡就可以部署了。这是最基本的，训练模型肯定得先把模型加载进来吧，模型权重所需的显存和模型部署所需的权重是一样的。所以说，如果模型想要训练，只看这3部分，需要的显存是至少推理的3或4倍。所以1个7B的大模型部署，大约需要28G，两张16G显卡为32G，刚好可以满足。
机器学习基础 - 回归模型之线性回归
yousuotu的博客
04-25 826
简单来说，线性回归算法就是找到一条直线（一元线性回归）或一个平面（多元线性回归）能够根据输入的特征向量来更好的预测输出y的值。其本质含义在于 X 与 Y 是线性相关的。
AI编程案例拆解|基于机器学习XX评分系统-后端篇
最新发布
qq_42320804的博客
04-26 756
AI编程案例拆解|基于机器学习XX评分系统-后端篇
spu库训练自己的大模型8G显卡
01-25
### 使用SPU库在8GB显存的GPU上高效训练大规模机器学习模型 对于拥有较大规模的神经网络，在单张8GB显存的GPU上进行训练确实面临挑战。为了克服这一难题，采用模型并行的方式是一种有效的策略[^1]。 #### 模型分割与分布 通过将整个模型划分为多个子模块，并分配到不同的计算设备上来实现模型并行化处理。具体而言： - **评估模型结构**：分析待训练模型架构特点，识别可分离组件。 - **划分逻辑单元**：依据前向传播路径上的依赖关系合理切分网络层，形成若干相对独立的功能区块。 - **跨设备映射**：按照各硬件资源特性安排上述功能区块驻留位置；例如，某些卷积操作可能更适合部署于具备更强算力的核心节点之上。 ```python import torch.distributed as dist from spu import ModelParallelTrainer, DeviceManager device_manager = DeviceManager() devices = device_manager.get_devices() # 获取可用设备列表 trainer = ModelParallelTrainer(devices=devices) model_parts = [ model_part_1.to('cuda:0'), model_part_2.to('cuda:1') ] for part in model_parts: trainer.add_module(part) ``` #### 数据流管理 当实施模型并行方案时，还需关注数据传输效率问题。由于不同阶段间存在输入输出交互需求，因此要优化这些环节的数据交换机制以减少延迟开销。 - **流水线设计**：构建高效的Pipeline模式来组织前后端之间的协作流程，使得每一轮迭代过程中能够充分利用多台设备的同时工作能力而不至于造成瓶颈现象。 - **异步通信**：利用非阻塞式的API接口完成必要的参数同步动作，从而提高整体吞吐量表现。 ```python def forward_backward_pass(input_data): outputs = [] for i, module in enumerate(trainer.modules()): if i != 0: input_data = prev_output.detach().requires_grad_(True).to(module.device) output = module(input_data) outputs.append(output) prev_output = output loss = criterion(outputs[-1], target) loss.backward() return loss.item(), outputs ``` #### 资源配置调整 考虑到目标平台仅配备了一枚具有有限容量（即8GB）内存空间的图形处理器件，故而有必要针对此环境特征做出适当妥协或改进措施。 - **降低精度运算**：启用混合浮点数格式（Mixed Precision），允许部分权重更新过程采用较低位宽表达形式，以此节省存储占用率并加速矩阵乘法速度。 - **梯度累积技术**：每当遇到难以一次性加载全部样本集的情况之下，则可通过累加多次小批量反向传播所产生的梯度值再统一应用至参数修正之中去达成相同效果的目的。 ```python scaler = torch.cuda.amp.GradScaler() with torch.cuda.amp.autocast(): predictions = model(inputs) loss = loss_fn(predictions, labels) scaler.scale(loss).backward() if (batch_idx + 1) % accumulation_steps == 0: scaler.step(optimizer) scaler.update() optimizer.zero_grad() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值