跑Text-IF等多模态融合模型问题和解决方法总结

原创 已于 2024-10-29 21:36:11 修改 · 513 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #linux #深度学习

于 2024-10-06 13:53:46 首次发布

1、报错ran out of print

是输入错了，检查数据、权重等文件是否存在且路径正确。我这里是Text-IF模型需额外下载放进去，我没下载。所以报错。下载好放进去就行。

跑Text-IF的test.py文件是在终端输入这个：

CUDA_VISIBLE_DEVICES=1,2,3 python test_from_dataset.py --weights_path "/home/wyc2024/09-ys/Text-IF-code/Text-IF-main/pretrained_weights/text_fusion.pth" --dataset_path "/home/wyc2024/09-ys/data-all/LLVIP/test" --input_text "This is the infrared and visible light image fusion task." --save_path "/home/wyc2024/09-ys/test-result-all/Text-IF-LLVIP" --gpu_id 1 2 3

2、报错cuda溢出

解决：首先看一下服务器显卡有没有空闲，命令如下：nvidia-smi，如果有空闲，则可以改代码，一口气用几张跑，如下：注释掉的是之前的代码，113行是更改之后的。并且跑代码的python test.py 后面加参数：gpu_id 1 2 3，故要这样：python test.py gpu_id 1 2 3

最低0.47元/天 解锁文章
naicha2
关注
实现高效生成式预训练Transformer模型：基于多模态数据融合和多任务学习的方法
AI天才研究院
07-28 1863
传统Transformer模型基于字符级别或者词级的文本，通常只进行了几层网络结构，而在实际生产环境中，任务不同，输入类型也不同，比如序列标注、序列生成等，会遇到不同的输入数据形式。因此，提出了用统一的预训练模型来解决这一问题，预训练可以使得模型具有更好的泛化能力、鲁棒性。通过对大量高质量数据进行预训练，模型可以在目标任务上取得更好的性能。目前，预训练模型有两种流派，一种是seq2seq预训练，另一种是transformer预训练。
OutOfMemoryError: CUDA out of memory.Tried to allocate 128.00 MiB.......却未占用显存，个人方法简单实用
xuanjiong的博客
03-03 3537
笔者的显存大小为6g,但没有占用gpu，猜测是显存过小导致的问题。笔者直接在命令行运行相关python文件，因此找到目标文件。在右下角添加quantize(4)，就保证代码的正常运行。
【Pytorch】Yolov5中CPU转GPU过程报错完善留档归纳
Loi_Chairmanの博客
04-21 2444
这是后续一系列惨烈报错的起点，包括但不限于pytorch与torch，torch与torchvision，numpy与python，升级python及numpy导致matplotlib多版本残留，处理matplotlib又导致scipy包损坏，最后一切修好后出现炸掉空间无法启动。。。。。。ERROR: pip’s dependency resolver does not currently take into account all the packages that are installed. This
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.70 GiB. GPU 0 has a total capacity o
hello！
09-15 3143
这个报错信息表明的PyTorch代码在执行反向传播（）时遇到了CUDA内存不足的问题。具体来说，GPU 0的内存已经耗尽，无法分配额外的2.70 GiB内存。
Unsloth CUDA内存碎片优化：PYTORCH_CUDA_ALLOC_CONF配置的极致性能调优
最新发布
gitblog_00087的博客
09-06 1038
你是否在使用Unsloth进行QLoRA微调时遇到过以下问题：训练中途突然报CUDA out of memory错误，但nvidia-smi显示内存使用率并未达到100%？或者模型训练速度随着epoch增加而逐渐变慢？这些现象的背后往往隐藏着一个容易被忽视的因素——**CUDA内存碎片**。 作为专注于"5X faster 60% less memory"的高效微调框架，Unsloth在内存优化...
llamaIndex 基于GPU加载本地embedding模型
leichangqing的博客
03-17 2397
【代码】llamaIndex 基于GPU加载本地embedding模型。
Text-IF论文解读翻译
qq_51907153的博客
10-22 1388
图像融合的目的是将来自不同源图像的信息结合，以产生具有综合代表性的图像。现有的融合方法对低质量源图像的降质处理无能为力，且对多种主客观需求无交互性。为了解决这些问题，我们引入了一种新的方法，利用语义文本引导图像融合模型的降级感知和交互式图像融合任务，称为TextIF。它创新性地将经典的图像融合扩展到文本引导的图像融合，沿着能够协调地解决融合过程中的退化和交互问题。通过文本语义编码器和语义交互融合解码器，Text-IF实现了红外与可见光图像的一体化降质感知处理和交互式灵活融合结果。
Pytorch 推理时内存溢出 CUDA out of memory
canyingfeixue的专栏
09-30 1892
在linux shell下执行。
文本引导下抗损互动图像融合模型Text-IF的研究与应用
10-17
内容概要：本文介绍了一种创新性的基于语义文本引导的图像融合方法Text-IF，该方法能够解决低质量源图像中存在的退化问题，并支持交互式的图像融合任务。文中提出了一个集成图像融合管道和文本互作用指导架构的框架...
Text-IF:利用语义文本引导面向退化感知和交互的图像融合
weixin_46202235的博客
05-20 2179
(2024).
多模态大模型常见问题
u012374012的专栏
03-21 1020
优点：Q-Former 通过查询机制有效融合了视觉和语言特征，使得模型能够更好地处理视觉-语言任务，尤其是在多模态推理任务中表现优秀。缺点：相较于 Q-Former，MLP 在处理复杂的视觉-语言融合任务时效果较差，尤其是在推理任务中。c.增强推理能力训练：进一步训练模型以增强其处理复杂推理任务（如图像中的逻辑推理）的能力。a.视觉-语言联合训练：使用大量的图像-文本对进行联合训练，以学习图像和文本之间的对齐。b.图像生成与理解训练：模型被训练以生成描述图像的文本，并理解不同的视觉任务。
CUDA out of memory
Try的博客
03-01 971
获取当前GPU的内存使用情况。
解决：CUDA: Out of Memory
m0_74958123的博客
03-28 1387
解决：CUDA: Out of Memory
遇到了 CUDA内存不足 的问题解决办法 orch.OutOfMemoryError: CUDA out of memory.
论文数据分析辅导,；论文人工智能辅导 huazhongxiaosx
02-15 2844
减小批量大小或优化模型结构。使用混合精度训练。清理显存并避免碎片化。使用多 GPU 或分布式训练。监控显存占用并优化代码。通过上述方法，你应该能够缓解或解决 CUDA 显存不足的问题。如果问题仍然存在，请提供更多上下文信息，我可以进一步帮助你分析问题。
几种解决跑深度学习模型时CUDA OUT OF MEMORY:GPU内存报错问题的方法
热门推荐
Co1rbin的博客
06-13 1万+
①使用共享GPU内存；②及时清空显存；③使用检查点存储；④使用混合精度
想用GPU跑yolo数据集，但是始终使用的是cpu，运行环境调整好了，还是有报错Memory Management and PYTORCH_CUDA_ALLOC_CONF
qq_26420885的博客
02-24 4463
使用GPU训练模型，遇到此问题一 Memory Management and PYTORCH_CUDA_ALLOC_CONF， 问题二[Errno 32] Broken pipe 问题三RuntimeError: indices should be either on cpu or on the same device as the indexed tensor (cpu)，这里都有体现，可以参考一下
解决CUDA out of memory问题。
m0_50887824的博客
10-09 924
发现unallocated的空间远大于需要的空间。
windwos环境CUDA爆显存异常问题: torch.OutOfMemoryError: CUDA out of memory...
kiumk的博客
12-15 549
明明还有15.8GB的显存为什么会爆显存呢？执行上面两行命令即可，需确保CUDA和torch可用。
多模态大模型的训练原理和方法详解
07-10
<think>嗯，用户这次聚焦在多模态大模型的训练原理和方法上，看来ta已经有一定机器学习基础（从之前的入门指南交互可推测），且对前沿技术感兴趣。用户引用的三篇材料都涉及多模态模型的核心挑战和应用场景，但需要更系统地解析训练机制。 用户可能的研究场景：可能是研究生或工程师，需要实现多模态应用但缺乏训练细节。深层需求或许是“如何避免多模态训练中的常见坑”。从ta精准提问看，更关注技术实现而非概念科普。 需要重点拆解三方面：1）多模态特有的网络架构（如Transformer变体）2）数据协同处理技巧 3）降低计算成本的方法。引用[1]提到的高效训练和[2]的特征融合公式正好作为切入点。 特别注意数学表达规范：所有公式必须严格用$...$或$$...$$包裹。比如特征融合公式应写成： $$z = \sigma(W_v \cdot v + W_t \cdot t + b)$$ 其中$\sigma$代表激活函数[^2]。 计划分四个技术层展开： 1）模型架构选择——解释Transformer如何改造为多模态输入（位置编码/跨注意力） 2）训练流程——从数据预处理到损失函数设计 3）效率优化——引用[1]的高效训练方向具体化 4）实战案例——结合引用[3]的医疗/自动驾驶场景 最后生成的问题要引导用户深入技术细节，比如多模态蒸馏或对比学习应用。</think>以下是多模态大模型训练原理与方法的详细解析，结合技术原理、数学公式和实践案例： --- ### 一、多模态大模型训练原理 #### 1. **核心架构设计** - **统一表示空间** 将不同模态数据（文本/图像/音频）映射到共享向量空间： $$ \mathbf{h}_v = f_v(\mathbf{x}_v), \quad \mathbf{h}_t = f_t(\mathbf{x}_t) $$ 其中 $f_v$ 和 $f_t$ 是模态编码器（如ViT/BERT）[^2] - **跨模态注意力机制** 通过注意力权重实现模态交互： $$ \text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}}\right)\mathbf{V} $$ $\mathbf{Q}$ 来自目标模态，$\mathbf{K/V}$ 来自源模态[^2] #### 2. **训练目标函数** - **对比学习损失** (CLIP式) $$ \mathcal{L}_{\text{contrast}} = -\sum_i \log \frac{\exp(\text{sim}(\mathbf{h}_v^{(i)}, \mathbf{h}_t^{(i)}) / \tau)}{\sum_j \exp(\text{sim}(\mathbf{h}_v^{(i)}, \mathbf{h}_t^{(j)}) / \tau)} $$ 其中 $\text{sim}$ 为余弦相似度，$\tau$ 是温度参数[^1] - **多任务联合优化** 同时优化模态对齐与下游任务损失： $$ \mathcal{L}_{\text{total}} = \lambda_1 \mathcal{L}_{\text{align}} + \lambda_2 \mathcal{L}_{\text{task}}} $$ --- ### 二、关键训练方法 #### 1. **高效训练技术** | 方法 | 原理说明 | 计算收益 | |--------------------|-----------------------------------|----------------| | **梯度检查点** | 牺牲计算时间换内存，仅存部分激活值 | 内存↓30-50% | | **混合精度训练** | FP16正向传播 + FP32梯度更新 | 显存↓40%，速度↑2x | | **数据并行** | ZeRO优化器分割优化器状态 | 支持千亿参数训练[^1] | #### 2. **数据增强策略** - **模态特定增强** - 视觉：MixCut、RandAugment - 文本：Back-translation、Token dropout - **跨模态对齐增强** ```python # 伪代码：跨模态数据增强 def cross_modal_augment(image, text): if random() > 0.5: image = replace_region(image, text) # 替换图像区域 text = modify_keywords(text) # 修改关键词 return image, text ``` #### 3. **模型蒸馏技术** - **跨模态蒸馏流程**： $$ \text{Teacher} (\text{多模态}) \xrightarrow{\text{KL散度}} \text{Student} (\text{轻量化}) $$ 通过最小化输出分布KL散度实现知识迁移[^1] --- ### 三、实战训练流程 以医疗影像分析为例（结合文本报告）[^3]： 1. **数据预处理** - 图像：DICOM → 224×224像素，标准化 - 文本：病史报告 → BERT分词，最大长度256 2. **联合训练步骤**： ```python # 伪代码：多模态联合训练 for (image, report) in dataloader: # 特征提取 img_feat = vision_encoder(image) # ViT模型 txt_feat = text_encoder(report) # BioBERT模型 # 跨模态融合 fused_feat = cross_attn(img_feat, txt_feat) # 多任务损失 cls_loss = CE_loss(classifier(fused_feat), label) align_loss = contrastive_loss(img_feat, txt_feat) loss = 0.7*cls_loss + 0.3*align_loss loss.backward() optimizer.step() ``` 3. **效果优化技巧** - 特征解耦：添加模态正交约束 $\|\mathbf{W}_v^T\mathbf{W}_t\|_F^2$ - 渐进式训练：先单模态预训练 → 跨模态微调 --- ### 四、前沿研究方向 1. **可解释性提升** - 注意力可视化：生成跨模态热力图定位关键特征 - 概念瓶颈模型：引入人类可理解的概念层[^1] 2. **3D多模态融合** 自动驾驶场景的融合公式： $$ \mathbf{F}_{\text{fusion}} = \text{Conv3D}(\mathbf{P}_{\text{LiDAR}} \oplus \mathbf{V}_{\text{camera}}) $$ $\oplus$ 表示张量拼接[^3] > **训练关键点**：多模态模型性能70%取决于数据质量与对齐方式。建议优先构建高质量对齐数据集，再优化模型架构[^2]。 --- ### 应用场景与模型选择 | 场景 | 推荐架构 | 训练要点 | |---------------------|-------------------|------------------------------| | 跨媒体检索 | CLIP | 对比学习+大规模图文对 | | 自动驾驶决策 | BEVFormer | 时序融合+3D空间重建[^3] | | 医疗诊断 | CheXNet+BERT | 领域自适应+病理知识注入 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值