Tensor2Tensor GPU Memory Error During Training

最新推荐文章于 2024-07-23 22:03:39 发布
最新推荐文章于 2024-07-23 22:03:39 发布
阅读量1.1k 收藏
点赞数
分类专栏： 代码调试日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lyrassongs/article/details/83006077
版权
在使用Tensor2Tensor训练基于Transformer的模型时，遇到GPU内存错误。初始运行顺利，但因实验室其他人占用部分GPU资源导致问题。尝试通过修改GPUOptions的allow_growth参数来限制GPU使用量，但未成功。进一步尝试通过设置CUDA_VISIBLE_DEVICES和--worker_gpu选择特定GPU运行，仍无法避免全GPU使用。最终通过直接修改train_util.py文件，根据指南调整GPUOptions以解决问题。尽管环境变量CUDA_VISIBLE_DEVICES对TensorFlow无效，但在PyTorch中有效。
摘要由CSDN通过智能技术生成

When I was training Transformer based on 12M+ source sentences and equal number of target sentences (batch size equals 4096, platform is 4 × T I T A N X p 4\times{TITAN Xp} 4×TITA

最低0.47元/天 解锁文章
咸鱼酱
关注
专栏目录
tensor2tensor 调整用几个GPU数量
Talk Is Cheap
03-21 597
在flags.py里的worker_gpu参数
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的chec
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-31 1291
​ LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标记化+分块】+切分txt数据集)→优化模型配置(模型量化+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+CheckPointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)/模型评
配置tensor2tensor在GPU上面运行
GodsLeft的专栏
09-19 833
1. tensor2tensor运行在GPU上面的简单总结 首先测试tensorflow的简单程序能否运行在GPU上面，执行下面的代码 import tensorflow as tf with tf.device('/device:GPU:0'): a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='...
《tensor2tensor》源码解读
最新发布
T940842933的博客
07-23 841
为Transformer模型的编码器准备输入和自注意力偏置，考虑了因果性、填充、位置编码、目标空间嵌入和类型嵌入等多种因素，确保编码器在训练和推理时能够正确处理输入数据。函数实现了一种饱和的 sigmoid 函数，其公式为：𝑦=min(1.0,max(0.0,1.2⋅𝜎(𝑥)−0.1))，其中，𝜎(𝑥) 是标准的 sigmoid 函数。将自注意力偏置和编码器-解码器注意力偏置转换为与编码器输入相同的数据类型，并返回编码器输入、自注意力偏置和编码器-解码器注意力偏置。，它是查询深度的平方根的倒数。
Memory Error问题
qq_36489878的博客
12-25 1840
前段时间用LDA做主题模型的时候，老是报错Memory Error,原来是内存不足，后来将整个模型放到服务器（64G）上训练，发现还是报同样的错误，后来在服务器上检测，发现并没有占满，网上找了许多教程，看着别人的教程做了好久还是不行，看着别人的方法 主要是我建了一个矩阵太大了，20万*45万的矩阵。 self.z = np.array(np.zeros([self.D, self.V]), ...
深度学习的训练和调参
abc1676167的专栏
03-21 410
感慨一下，人工智能这个名字挺有意思，这段时间也不知咋回事，朋友圈里都是学人工智能的，什么python，tf.......还有很多大神在互联网上开讲，也是赚了一笔，如今看来，真是百花齐放，一派繁荣的景象啊，有好有坏，大多数也只是人工的智能，就好像今天要讲的训练和调参，千万不要以为随随便便就可以得到一个好的结果，如果你没有丰富的经验、大量的实验，等于空谈。当然你完全可以借鉴别人的经验，甚至是...
Tensor2Tensor（三）
wxw060709的专栏
01-08 493
下面列出了要深度掌握Tensor2Tensor系统时，可能因为其实现特点，会遇到的一些问题： ​ 1. 系统支持多任务，任务混杂，导致代码结构比较复杂。在实现的时候，要考虑到整体的结构，所以会存在各种封装、继承、多态的实现。可能你只想用其中的一个功能，理解该功能对应的代码，但是却需要排除掉大量的不相关的代码。 ​ 2. 系统基于Tensorflow封装较高的API。使用了Tensorflow中...
python out of memory_显存充足，但报错 out of memory
weixin_31310737的博客
02-19 4580
用cascade_rcnn_cbr200_vd_fpn_dcnv2_nonlocal_softnms.yml训练自己的数据集显存充足，但报错 out of memory，请问该怎么解决这个问题？`python3 -u tools/train.py -c configs/dcn/cascade_rcnn_cbr200_vd_fpn_dcnv2_nonlocal_softnms.yml -o pret...
书生·浦语大模型实战营之XTuner多模态训练与测试
段智华的博客
04-16 156
书生·浦语大模型实战营之XTuner多模态训练与测试 在本节课中，我们将学习使用XTuner微调多模态LLM的内容，本部分需要的GPU资源为24GB 30% 的 A100。这是学完本节内容后的多模态LLM性能效果展示：Haotian Liu等使用GPT-4V对图像数据生成描述，以此构建出大量 – 的数据对。利用这些数据对，配合文本单模态LLM，训练出一个Image Projector。所使用的文本单模型LLM和训练出来的Image Projector，统称为LLaVA模型 LLaVA: Large Lang
增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程
数字人生
06-16 1438
基于之前的博客的内容，我们深入研究了一种称为量化低秩调整（QLoRA）的参数高效微调（PEFT）方法。本次重点是利用QLoRA技术在单块AMD GPU上，使用ROCm微调Llama-2 7B模型。通过使用QLoRA，可以解决内存和计算能力限制方面的挑战。本次探索旨在展示如何利用QLoRA来增强对开源大型语言模型的可访问性。
google的tensor2tensor的学习源码
09-17
可以参考 https://blog.csdn.net/csa121/article/category/7518359 学习使用
解决memoryerror
qq_42133342的博客
03-23 1686
解决pycharm中memoryerror错误
TensorFlow教程 2 TensorFlow基础构架
和而不流
07-14 1179
2 TensorFlow基础构架TensorFlow基础构架 1 处理结构 2 例子2 3 Session 会话控制 4 Variable 变量 5 Placeholder 传入值 6 激励函数 Activation Function 2.1 处理结构Tensorflow的运算步骤是： 首先要定义神经网络的结构。 然后再把数据放入结构当中去运算和 training. 如图： 其中：Gradient
Tensor2Tensor 踩坑记录
Davidddl的博客
08-15 5057
  Tensor2Tensor（Transformer）使用方法 安装环境 安装CUDA 9.0 （一定是9.0，不能是9.2） 安装TensorFlow （现在是1.8） 安装Tensor2Tensor 开始使用 数据预处理：这一步骤是根据自己任务自己编写一些预处理的代码，比如字符串格式化，生成特征向量等操作。 编写自定义problem： 编写自定义的problem代码，一定需要...
发布Tensor2Tensor，加快深度学习研究
谷歌开发者
06-30 1028
T2T 是一个用于在 TensorFlow 中训练深度学习模型的开源系统。
谷歌最新开源Tensor2Tensor
Nicholas_Liu2017的博客
06-29 1366
最新谷歌开源了另一个功能强大的深度学习开源框架，这个开源的框架与Tensorflow结合起来可以完成更加丰富的功能。 T2T is a modular and extensible library and binaries for supervised learning with TensorFlow and with support for sequence tasks. It i
tensorboard使用教程
热门推荐
七七的博客
05-07 1万+
最近跑程序，要监控损失变化情况，方便调试程序。发现tensorboard是个好工具，但一直没使用。本文是学习笔记，参考博客：理解 TensorBoard主要用的是tf.summary, 主要包括：1. tf.summary.histogram(生成Histogram 和distribution), 代码示例：tf.summary.histogram('layer'+str(i+1)+'weight...
使用GPU训练大神经网络之 显存控制策略与提升
silent56_th的博客
05-21 7372
本文是“[PPoPP18] SuperNeurons:Dynamic GPU Memory Management for Training Deep Neural Networks”的论文阅读笔记，论文、talk视频PPT等详见作者主页：https://linnanwang.github.io/ 参考资料： https://linnanwang.github.io/ How to Optim...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值