关于SELF-MM模型复现出现的问题解决步骤

最新推荐文章于 2024-06-14 01:24:18 发布
最新推荐文章于 2024-06-14 01:24:18 发布
阅读量414 收藏 4
点赞数
文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52679708/article/details/134451472
版权

首先是根据给出的地址链接建立数据集和预训练bert文件。

1.

对于预训练bert直接下载好替换掉原仓库中的文件，区别在于多了一个model文件；
对于数据集，如果不想全修改，按照默认格式MOSI/Processed/unaligned_50.pkl新建文件夹，以上述格式分别将文件放进去，SIMS，MOSEI数据集同理。下载好之后在config文件里修改对应的path路径为你自己电脑的路径。

2.

根目录新建一个logs文件。

3.

CUDA报错，将run.py 55 行 进行以下修改，注释掉的是源代码。
#device = torch.device(‘cuda:%d’ % int(args.gpu_ids[0]) if using_cuda else ‘cpu’)
device = torch.device(‘cuda:0’ if torch.cuda.device_count() > 0 else ‘cpu’)

4.

model文件中的self-mm.py的132行添加lengths = lengths.cpu()即可。

5.

其他问题请提问…

一颗2021
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 11
    评论
ConvNext模型复现--CVPR2022
冲出仁川，走出马德里，故事还会再继续
09-06 1871
ConvNet和Vision Transformer的ImageNet分类结果。我们证明了标准的 ConvNet 模型可以实现与分层视觉 Transformer 相同的可扩展性，同时在设计上要简单得多。视觉识别的“咆哮的 20 年代”始于 Vision Transformers (ViTs) 的引入，它迅速取代了 ConvNets，成为最先进的图像分类模型。另一方面，普通的 ViT 在应用于目标检测和语义分割等一般计算机视觉任务时面临困难。
Self-Attention-Keras：自我关注与文本分类
02-03
方便起见，单词的下标基于它在数据集中出现的频率标定，例如整数3所编码的词为数据集中第3常出现的词。 按照惯例，0不代表任何特定的词，而编码为任何未知单词。 用法 训练 $ python imdb_attention.py 比较结果 ...
论文 Self-MM 解读
Neo的战斗部
04-13 2036
Learning Modality-Specific Representations with Self-SupervisedMulti-Task Learning for Multimodal Sentiment Analysis 摘要 1.设计了一种标签生成模块，获得独立的单模态标签 2.设计权重调整策略，平衡不同子任务之间的学习进程 特征学习中 前向引导 ：捕捉不同模态之间的差异信息 后向引导：附加损失函数作为先验约束，使得模态表征既包含一致信息又包含互补信息 paper的贡献： 1.
Sentiment Word Aware Multimodal Refinement for MultimodalSentiment Analysis with ASR Errors
QM19900420的博客
10-23 1014
多模态情绪分析引起了越来越多的关注，并提出了许多模型。但是，当在现实世界中部署最先进的模型时，它们的性能会急剧下降。我们发现，主要原因是实际应用程序只能访问自动语音识别 (ASR) 模型的文本输出，由于模型容量的限制，这可能会出现错误。通过对ASR输出的进一步分析，我们发现在某些情况下，情感词 (文本情态中的关键情感元素) 被识别为其他词，这使得文本的情感发生变化，并直接损害了多模态情感模型的性能。为了解决这个问题，我们提出了情感词感知多模态细化模型 (SWRM)，该模型可以通过利用多模态情感线索来动态细化
探索自我监督多任务学习：SELF-MM 模型
gitblog_00072的博客
06-06 244
探索自我监督多任务学习：SELF-MM 模型 项目地址:https://gitcode.com/thuiar/Self-MM SELF-MM 是一个基于PyTorch实现的开源项目，用于复现实验代码，即在多模态情感分析中通过自我监督多任务学习学习模态特定表示(AAAI2021)研究中的方法。该项目旨在为多模态情感分析提供强大的工具，其中也包括了对预训练BERT模型的集成。 项目介绍 SELF-M...
【图像去噪/扩散模型】Deconstructing Denoising Diffusion Models for Self-Supervised Learning(l-DAE)
热门推荐
畅游计算机视觉的海洋
01-29 1万+
在这项研究中，我们研究了最初用于图像生成的去噪扩散模型 (DDM) 的表示学习能力。我们的理念是解构 DDM，逐渐将其转换为经典的去噪自动编码器 (DAE)。这种解构过程使我们能够探索现代 DDM 的各种组件如何影响自监督表示学习。我们观察到，只有少数现代组件对于学习好的表示至关重要，而其他许多组件并不重要。我们的研究最终得出了一种高度简化的方法，在很大程度上类似于经典的DAE。我们希望我们的研究在现代自我监督学习领域重新点燃了一系列经典方法的兴趣。
LLMs：datawhalechina/self-llm( 基于AutoDL平台+针对各类开源大模型提供环境配置、本地部署、高效微调等技能在内的全流程指导)的简介、使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-01 1071
​ LLMs：datawhalechina/self-llm( 基于AutoDL平台+针对各类开源大模型提供环境配置、本地部署、高效微调等技能在内的全流程指导)的简介、使用方法、案例应用之详细攻略 目录 开源大模型食用指南 开源大模型食用指南   本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普
项目实训2024.04.12日志：Self-QA生成问答对
lyh20021209的博客
04-12 1044
Self-QA（Self Question Answering）技术是一种自然语言处理（NLP）技术，它旨在通过生成问题并自行回答来增强机器对文本的理解。这种技术通常用于提升机器学习模型，尤其是深度学习模型在问答、文本理解和生成等领域的性能。Self-QA技术的核心思想是通过模型自身生成的问题来测试和提高其对文本的理解能力。在这个过程中，模型需要对给定的文本内容进行深入分析，生成相关的问题，然后使用文本内容来回答这些问题。通过这种方式，模型可以在没有额外标注数据的情况下进行自我训练和优化。
HyTE 模型复现可能遇到的问题及解决办法
Ax的博客
10-13 935
时序知识图谱嵌入模型 HyTE，在复现时可能遇到的问题及解决办法
self-ensemble label filtering
weixin_43702410的博客
01-17 892
self-ensemble label filtering自集成标签滤波 模型将噪声标签剔除出来，仅对干净的数据训练。 剔除数据 主要思路：模型在训练时，对于那些噪声标签的样本的预测值常常飘忽不定（文章是这么指出的，准备做复现的时候试一试），因此采用信号处理中的滤波，而实现的方法是对模型求均值。 Model ensemble：在训练过程中对模型的参数进行移动平均，当训练数据更新normal model参数时，通过权重的指数移动平均来维护teacher model，同时利用正则项来令两个model尽量保持
序列模型相关，分析cnn,rnn, self-attention模型在学习序列依赖的能力
08-06
序列模型相关，分析 CNN、RNN、Self-Attention 模型在学习序列依赖的能力 序列模型是自然语言处理和机器学习领域中的重要组成部分，广泛应用于文本分类、机器翻译、语音识别等领域。其中，CNN、RNN 和 Self-...
基于self-snake模型的图像放大 (2010年)
05-21
方法 基于线性偏微分图像放大方法的初边值条件，提出将具有曲率运动和边缘增强双重功能的非线性偏微分平滑去噪self-snake模型用于图像放大。结果 实验证明具有曲率运动、边缘冲击特性和平滑去噪性能的非线性self-...
Intro-to-Self-Driving-Cars:大胆自驾车
05-12
这些概念将用于解决自动驾驶汽车的问题。 话题 方向 在本部分中，您将潜入教室的顶峰，与团队会面，并了解所提供的服务。 然后，您将进行准备状态评估，并查看一些学习资源，以帮助您充分利用自己的经验。 贝叶斯...
self-instruct 自动生成指令数据
12-13
self-instruct 自动生成指令数据释义
【深度学习】【NLP】Bert理论，代码
q742971636的博客
06-11 1133
BERT (Bidirectional Encoder Representations from Transformers) 是一个由Google开发的自然语言处理预训练模型。BERT在多个NLP任务中取得了显著的效果，主要因为它能够利用句子中所有单词的上下文信息进行训练和预测。下面从公式和代码两个角度进行讲解。BERT 的输入由三个嵌入层组成：输入向量表示为： Input=Token Embedding+Segment Embedding+Position Embedding \text{Input} =
用GAN网络生成彩票号码
Pika
06-11 1842
简单的gan网络实现序列预测
基于深度学习从2D图像中恢复3D图形
最新发布
weixin_42605076的博客
06-14 544
基于深度学习从二维图像中恢复三维图形，通过构建和训练复杂的神经网络模型，能够有效地从二维图像中提取深度信息和三维结构。尽管面临信息不足、遮挡和视角变化等挑战，但随着深度学习技术的不断进步，三维重建在多个领域展现出了广阔的应用前景。通过数据增强和预处理技术，可以进一步提升三维重建模型的鲁棒性和准确性。
基于深度学习的电池健康状态预测（Python）
weixin_39402231的博客
06-12 451
电池的故障预测和健康管理PHM是为了保障设备或系统的稳定运行，提供参考的电池健康管理信息，从而提醒决策者及时更换电源设备。不难发现，PHM的核心问题就是确定电池的健康状态，并预测电池剩余使用寿命。但是锂电池的退化过程影响因素众多，不仅受其本身工作模式的影响，外部环境的压力、温度等都会影响锂电池的退化。这些影响因素之间的相互耦合，导致锂电池的退化表现出很强的非线性及不确定性，这给SOH估计和RUL预测带来了很大的困难。
randla-net-pytorch代码复现
05-26
RandLA-Net是一种基于点云数据的深度学习模型，用于点云分割和场景理解。下面是使用PyTorch实现RandLA-Net的简单步骤： 1. 安装依赖库 在Python环境中安装以下库： - PyTorch - NumPy - Open3D - Scikit-learn 其中PyTorch是必须的，其余库是为了可视化和数据预处理。 2. 下载数据集 下载点云数据集，例如S3DIS数据集，该数据集包含了用于建筑物场景的点云数据。可以从官方网站下载数据集。 3. 数据预处理 使用Open3D库读取点云数据并进行预处理。具体来说，可以使用Open3D库将点云数据转换为numpy数组，然后将其分为小的块，以便在GPU上进行训练。 ```python import open3d as o3d import numpy as np import os def load_data(path): pcd = o3d.io.read_point_cloud(path) points = np.asarray(pcd.points) return points def process_data(points, block_size=3.0, stride=1.5): blocks = [] for x in range(0, points.shape[0], stride): for y in range(0, points.shape[1], stride): for z in range(0, points.shape[2], stride): block = points[x:x+block_size, y:y+block_size, z:z+block_size] if block.shape[0] == block_size and block.shape[1] == block_size and block.shape[2] == block_size: blocks.append(block) return np.asarray(blocks) # Example usage points = load_data("data/room1.pcd") blocks = process_data(points) ``` 这将生成大小为3x3x3的块，每个块之间的距离为1.5。 4. 构建模型 RandLA-Net是一个基于点云的分割模型，它使用了局部注意力机制和多层感知器（MLP）。这里给出一个简单的RandLA-Net模型的实现： ```python import torch import torch.nn as nn class RandLANet(nn.Module): def __init__(self, input_channels, num_classes): super(RandLANet, self).__init__() # TODO: Define the model architecture self.conv1 = nn.Conv1d(input_channels, 32, 1) self.conv2 = nn.Conv1d(32, 64, 1) self.conv3 = nn.Conv1d(64, 128, 1) self.conv4 = nn.Conv1d(128, 256, 1) self.conv5 = nn.Conv1d(256, 512, 1) self.mlp1 = nn.Sequential( nn.Linear(512, 256), nn.BatchNorm1d(256), nn.ReLU(), nn.Linear(256, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Linear(128, num_classes), nn.BatchNorm1d(num_classes) ) def forward(self, x): # TODO: Implement the forward pass x = self.conv1(x) x = self.conv2(x) x = self.conv3(x) x = self.conv4(x) x = self.conv5(x) x = torch.max(x, dim=-1)[0] x = self.mlp1(x) return x ``` 这个模型定义了5个卷积层和一个多层感知器（MLP）。在前向传递过程中，点云数据被送入卷积层，然后通过局部最大池化层进行处理。最后，通过MLP将数据转换为预测的类别。 5. 训练模型 在准备好数据和模型之后，可以使用PyTorch的内置函数训练模型。这里使用交叉熵损失函数和Adam优化器： ```python import torch.optim as optim device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # TODO: Initialize the model model = RandLANet(input_channels=3, num_classes=13).to(device) # TODO: Initialize the optimizer and the loss function optimizer = optim.Adam(model.parameters(), lr=0.001) loss_fn = nn.CrossEntropyLoss() # TODO: Train the model for epoch in range(num_epochs): running_loss = 0.0 for i, batch in enumerate(train_loader): # Move the batch to the GPU batch = batch.to(device) # Zero the gradients optimizer.zero_grad() # Forward pass outputs = model(batch) loss = loss_fn(outputs, batch.labels) # Backward pass and optimization loss.backward() optimizer.step() # Record the loss running_loss += loss.item() # Print the epoch and the loss print('Epoch [%d], Loss: %.4f' % (epoch+1, running_loss / len(train_loader))) ``` 这里使用Adam优化器和交叉熵损失函数进行训练。训练完成后，可以使用预测函数对新数据进行分类： ```python def predict(model, data): with torch.no_grad(): # Move the data to the GPU data = data.to(device) # Make predictions outputs = model(data) _, predicted = torch.max(outputs.data, 1) # Move the predictions back to CPU predicted = predicted.cpu().numpy() return predicted # Example usage data = load_data("data/room2.pcd") data = process_data(data) data = torch.from_numpy(data).float().permute(0, 2, 1) predicted = predict(model, data) ``` 这将返回点云数据的分类预测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一颗2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值