- 博客(19)
- 收藏
- 关注
RSS订阅原创 论文阅读与源码解析：CMX
现有的多模态语义分割方法可以分为两类:(1)第一类采用单一网络从RGB和另一种模态中提取特征，融合在输入阶段(见图2a)。(2) 第二类方法部署两个主干分别从 RGB- 和另一种模态中提取特征，然后将提取的两个特征融合为一个特征以进行语义预测（见图 2b）。然而，这两种类型通常是针对单个特定模态对（例如 RGB-D 或 RGB-T）量身定制的，但很难扩展到其他模态组合进行操作。为了解决上述挑战，我们提出了 CMX，这是一种通用跨模态融合框架，用于交互式融合方式的 RGB-X 语义分割（图 2c）。
2024-08-28 11:21:36
1203
1
原创 论文阅读与源码解析：ConvLoRA
目的：解决上述限制，仍然保留 SAM 在预训练期间获得的有价值的分割知识，我们在冻结大部分 SAM 的预训练权重的同时微调一小组（额外）模型参数，微调模块能增强SAM编码器与图像相关的局部先验，促进高级语义信息的获取。现有的工作未能分析或解决 SAM 固有的某些限制。遵循LoRA设计策略，在预训练权重旁边添加一个旁路。预训练SAM微调下游任务以提高性能。
2024-08-05 14:50:43
459
原创 论文阅读与源码解析：MGD
论文地址：https://arxiv.org/pdf/2205.01529GitHub项目地址：https://github.com/yzd-v/MGD。
2024-06-27 16:31:38
216
1
原创 论文阅读与源码解析：MixMAE
论文地址：https://arxiv.org/pdf/2205.13137GitHub项目地址：https://github.com/Sense-X/MixMIM。
2024-06-26 16:53:32
733
1
原创 使用PEFT插入LoRA或DoRA模块方法以及解决’cuda out of memory’问题
在我们定义好自己的模型以及LoRA配置后，使用函数将LoRA模块加入到model里面去。下面是我的使用的代码我将我模型里面含有关键字’qkv’的线性层加入DoRA但是由于模型改变后，key也改变了，导致以前的权重加不去，所以我打印出来对比以前保存的权重文件的key以及现在model的key。
2024-05-12 19:38:36
423
1
原创 linux强制关闭pycharm
我在跑深度学习代码时,打开了一个新的项目，突然pycharm卡住不动，点击关闭应用程序也没有用，我打开系统监视器，发现里面也没有名为pycharm的进程。
2024-02-26 16:09:24
668
1
原创 清除显卡内存占用
最近我在用vscode远程连接服务器跑实验的时候由于网络卡掉，导致实验中断，然后我重新跑实验时，发现一直报错cuda out of memory，我用nvidia-smi命令查看发现没有显示哪个pid在使用GPU3。
2024-02-19 10:55:28
1722
1
原创 运行Mamba项目时无法直接用pip install安装causal_conv1d和mamba_ssm
我想运行一下Mamba但是他有依赖包causal_conv1d，直接用命令安装会出错，然后我将causal_conv1d项目下载下来用也不可以。
2024-01-29 18:29:33
14394
48
原创 DETR系列中DINO修改num_classes后加载预训练模型出现错误
我检查发现加载模型时strict是False，所以我觉得这个命令只能将名字不一样的层才能忽略，维度修改后不会自动忽略。我将DINO配置文件中num_classes改成2后，加载预训练权重报错。然后将修改后的模型权重加载到模型中去，就不会报错了。所以我找到维度不匹配的层，将它们的权重删除。
2024-01-26 18:32:24
310
3
原创 DETR系列中DINO如何debug
DINO项目中他将parser命令集成到sripts文件夹下很多sh文件中，要用bash命令，但是我不会用这个，也不容易debug。
2024-01-14 11:34:43
411
1
原创 DETR系列中DINO保存eval结果
目标检测DINO在训练时每次都会eval验证集看看模型检测能力，但是只会打印输出并不会保存起来，要是训练很多轮次的话打印的内容太多就会掩盖以前的结果，所以我想把模型eval结果保存为txt文件方便后期查看。
2024-01-14 11:33:34
418
1
原创 DETR系列项目中训练或者推理时输入为何自动转化为NestedTensor类型
我在看一个名叫DINO的目标检测网络，是DETR系列的论文，在debug的过程中，很纳闷为啥输入进去的图像从图片类型转为tensor类型然后一下子就变成了DETR自己定义的NestedTensor类型，所以记录一下。
2024-01-08 22:32:53
449
原创 yolov5 dataloader出现KeyError: ‘__getstate__‘问题
我从github下载了一个叫TarDal的项目，它是将图像融合然后用yolov5做目标检测的，但是我在运行代码的时候出现了如下错误。
2023-12-28 19:52:40
617
7
原创 解决Anaconda不能用conda添加镜像源
最近我发现我的电脑用Anaconda Prompt下载包时，下载速度很慢但是我的电脑添加了镜像源这是我用网上的conda config --add channels方法，但是好像并没有什么用。
2023-11-29 18:58:51
388
1
原创 在Pycharm运行GroundingDINO
这个我查询网站需要安装CUDA Toolkit加上cuDNN，我安装的版本的12.1，可以参考下面的帖子，我的torch的cuda版本也是12.1。原来我的pycocotools版本为2.0.2，然后我将它升级为2.0.7。安装后Anaconda Prompt设置环境变量。最后重新运行test.py程序就可以了。在test.py中输入下面的代码。有很多warning我都没有管。然后在项目目录中重新安装项目。
2023-11-28 21:00:56
778
原创 Pycharm中terminal问题
在Pycharm中打开terminal窗口会出现conda.bat”无法运行: 系统找不到指定的文件。或者输入python命令时出现“python.exe”无法运行: 系统找不到指定的路径。
2023-11-27 18:21:33
342
原创 目标检测中如何读取.xml后缀格式的标签文件
在我的项目中有两个文件夹和一个txt文件，一个jpg文件夹保存的是jpg格式图片，xml文件夹里保存的是xml格式的标签文件，两个文件名是对应的，classes.txt保存的是class类型名称。010002.xml标签文件部分内容结构如下</</</</</</</</</</</</</</</</</</</我们是要提取里面object里面的内容classes.txt内容如下personbicyclecarmotorbikeaeroplanebustraintruckboat。
2023-11-15 19:21:33
225
1
原创 Anaconda创建虚拟环境，安装指定版本的pytorch，并配置到pycharm中
可以选择进行conda安装或者pip安装（conda安装就是命令第一次单词是conda,pip安装同理）可以看见python解释器已经是刚才创建的名为pytorch的环境了。这个就是cuda版本为11.7。没有报错的话就证明安装成功了。
2023-11-10 17:00:59
2186
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人