a100这么拉吗，一万多token都爆显寸？

最新推荐文章于 2024-08-30 12:42:13 发布
最新推荐文章于 2024-08-30 12:42:13 发布
阅读量103 收藏
点赞数 1
文章标签： 语言模型 transformer python 笔记 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45564275/article/details/140411110
版权

单张a100-80g ，大模型glm3，4，推理 一个1万多token都爆显寸的吗？….一万多的要啥配置啊 有人知道吗？

基于llama factory框架微调训练当然也爆显寸，deepspeed 优化感觉根没优化一样，感觉只是多卡并行训练一批数据，如果数据太长deepspeed到底会自动把数据分成几份加载到别的显卡上吗？另外用zero3优化，用offload配置训练的进度条40小时，不用offload三四个小时… 不理解

我是真菜
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一万多行C++小游戏 不太正常的计算机Dome
08-11
目前为Dome版本 正式版正在优化 大部分剧情已经写好 但是还有一部分还是不全的 多多支持一下新人,新人才初中,QWQ 有些地方的Bug会在正式版修正,Dome目前均在测试阶段，有Bug请见谅,一些剧情会在正式版中更新,目前...
一万多行C++小游戏 多结局 多剧情 不太正常的计算机 Dome
08-11
不太正常的计算机Dome,由于代码只好上传资源--永远免费--
七月论文审稿GPT第2版：用一万多条paper-review数据微调LLaMA2 7B最终反超GPT4
结构之法 算法之道
11-02 1万+
如此前这篇文章《》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉及到论文的修订/审稿，则市面上已有的学术论文GPT的效果则大打折扣。原因在哪呢？
通透理解FlashAttention(含其2代和第3代)：全面降低显存读写、加快计算速度
热门推荐
结构之法 算法之道
10-06 3万+
因此，可以确认：在 MQA 中，除了 query 向量还保存着 8 个头，key 和 value 向量都只剩 1 个「公共头」了，这也正好印证了论文中所说的「所有 head 之间共享一份 key 和 value 的参数」所以，上面讲到计算注意力的主要瓶颈是显存访问，因此减少对HBM的读写次数，有效利用更高速的SRAM来进行计算是非常重要的，而GPU有大量的线程来执行某个操作，称为。(需要注意的是，模型训练通常会影响到算子融合的效果，因为为了后向传递计算梯度，通常需要将某些中间结果写入到HBM中)
LLM微调技术调研
人工智能讲师分享前沿技术
07-25 474
之类的专业问题，微调前的模型回答可能相对宽泛，比如多喝水，症状严重时注意看医生等，但微调后的模型会基于与用户的多轮对话上下文，给出更精准、更专业的回答，经过医疗数据集微调后的模型，在面对医疗专业知识领域时，将具备更优的性能。模型微调是一个循序渐进、不断优化迭代的系统工程，一般需要经过模型选取、任务定义、数据准备、策略选择、模型配置、模型微调、结果评估、优化迭代、模型测试、模型部署等流程，通过系统化、流程化的模型微调，将输出令人满意的结果。Fine-Tuning指的是全量参数微调，训练时间成本高。
深入LLM微调：技术细节、最佳实践与未来发展方向_微调技术
2401_85328934的博客
07-17 807
首先对模型微调下个非严谨的定义，大模型微调（Fine-tuning）是指在预训练模型基础之上，采用标注的高质量数据集或基于人类反馈机制对基础模型进行训练，最终输出具备或增强特定领域能力模型的技术。
一万多张15种常见蔬菜水果识别分类数据集（已划分训练集和验证集）.zip
08-01
一万多张15种常见蔬菜水果识别分类数据集（已划分训练集和验证集）.zip 介绍 类别数：15类， 数量：10000多张，每类680到750张左右 类别：菠萝、草莓、车厘子、桂圆、哈密瓜、胡萝卜、黄瓜、火龙果、苦瓜、梨、荔枝...
c++小游戏中级终端（一万多行）（原创）
07-26
大家快来看！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！ 我天天编，希望大家可以快乐一下...我天天编，希望大家可以快乐一下大家
顾客网购金条损失一万多 京东称货物丢失.docx
09-27
顾客网购金条损失一万多 京东称货物丢失.docx
python12 中，No module named‘distutils‘错误
qq_43557600的博客
08-27 8368
python12 “ No module named'distutils' ”,​ 安装 pip install setuptools ，解决 ​
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 1万+
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
centos7 安装 superset4.0.2 教程
m0_37759590的博客
08-27 7903
centos7 安装 superset4.0.2 教程
【python】关于判断空值None、判断len()=0，和 if not 的区别
Meggie35的博客
08-28 4029
python的“空”与“无”之辩，关于None，和空数值。在程序中，判断里面没有值和判断东西是不是为空，也是不一样的东西，我们可以往下看看具体的区别。
使用 DrissionPage 和 2Captcha 处理 Turnstile 验证并获取 Faucet 签名
最新发布
qq_41631913的博客
08-30 274
本教程介绍了两种获取 Cloudflare Turnstile 验证值并使用 faucet 签名 API 的方法。第一种方法通过 DrissionPage 模拟浏览器操作，手动获取验证码值。第二种方法则通过 2Captcha 服务，自动化解决验证码问题。
无法验证 Anaconda 仓库证书
qq_38332453的博客
08-28 127
无法验证 Anaconda 仓库的证书
并行计算的艺术：PyTorch中torch.cuda.nccl的多GPU通信精粹
2401_85763639的博客
08-27 590
是PyTorch提供的一个用于多GPU通信的API，它基于NCCL库，专门针对NVIDIA GPU优化，支持高效的多GPU并行操作。NCCL提供了如All-Reduce、Broadcast等集合通信原语，这些操作在多GPU训练中非常关键。
人工智能开发实战机器学习算法解析
sinat_30844883的博客
08-29 2179
机器学习算法是人工智能领域的重要组成部分，它们通过从数据中学习并自动改进，而无需进行显式的编程。机器学习算法可以分为多种类型，包括监督学习、无监督学习、半监督学习、迁移学习和强化学习。每种类型都有其特定的应用场景和优势。
easyexcel导出限制在6六万多数据
03-25
A： 是的，EasyExcel导出数据的限制在6万多条数据。这是因为使用EasyExcel时，数据会先以Java对象的形式存在内存中，然后再通过POI API将数据写入Excel文件中。如果数据量过大，会导致内存溢出或者程序运行速度缓慢。因此，为了避免这种情况的发生，EasyExcel对导出的数据量设定了最大限制。 如果需要导出更大量的数据，可以考虑使用其他的Excel导出工具，或者对数据进行分批导出。另外，也可以优化程序代码，减小内存占用，从而增加导出数据的容量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值