【论文阅读】Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image Fusion（ICCV2023）

于 2024-10-02 11:26:59 发布
阅读量77 收藏 2
点赞数 2
分类专栏： 图像融合 论文阅读 文章标签： 论文阅读 计算机视觉 人工智能 深度学习 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Prettybritany/article/details/142679648
版权

Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image Fusion（ICCV2023）

现有方法存在的问题

现有方法通常直接结合不同模态的纹理细节和目标对比度，忽略了现实中的动态变化，导致在良好光照条件下可见光纹理可见度降低，以及在低光照条件下红外对比度降低。

本文贡献

  1. 提出了一个新的多模态门控局部到全局专家混合的动态图像融合模型。

  2. 构建了一个有效且稳健的样本自适应红外-可见光融合框架，动态平衡纹理细节和对比度。

  3. 在多个红外-可见光数据集上进行了广泛的实验，验证了其优越性，并在目标检测任务中展示了有效性。

研究方法

整体框架

Mixture of Local Experts

门网络的公式化如下：

输出

Mixture of Global Experts

与local expert相同

loss function

Prettybritany
关注
专栏目录
Multi-modal Circulant Fusion for Video-to-Language and Backward
02-07
本研究提出了一种新的多模态融合方法——多模态循环融合（Multi-modal Circulant Fusion，简称MCF），旨在更深入地探索不同模态特征之间的交互作用。在现代人工智能领域，多模态融合技术已经广泛应用于视觉内容到...
react-native-image-modal:React Native的简单图像模式
05-02
react-native-image-modal是适用于iOS和Android的简单的全尺寸模式图像。 您可以捏放大/缩小，双击放大/缩小，移动和滑动以关闭。 它支持React版本> = 0.60和<= 0.59。 文档 世博会 该库不再支持Expo。 因为该库...
Lab-on-CMOS: A Multi-modal CMOS Sensor Platform towards Personalized DNA Sequencing
02-07
This paper mainly presents three kinds of CMOS-based label-free sensors, including: i) a high-sensitivity ion-sensitive field-effect transistor (ISFET) sensor with pH-to-time-to-voltage conversion ...
论文笔记：Anytime Continual Learning for Open Vocabulary Classification
weixin_47505105的博客
10-01 149
在开放词汇表图像分类中，随着时间的推移，模型需要不断学习新的标签，同时保留对旧标签的记忆。
Frequency-aware Feature Fusion for Dense Image Prediction 论文阅读
weixin_51657614的博客
10-01 115
为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。ALPF生成器预测空间变化的低通滤波器，以衰减对象内的高频组件，减少上采样期间的类内不一致。偏移量发生器通过重采样将不一致的特征替换为更一致的特征来细化大的不一致特征和细边界，而AHPF发生器增强了下采样过程中丢失的高频详细边界信息。
车辆重识别（2021NIPS在图像合成方面，扩散模型打败了gans网络）论文阅读2024/10/01
vegetabler的博客
10-01 173
向分类器中输入xt，发现与真实类别匹配概率小，计算对xt的梯度，让xt以一定的包含梯度的步幅进行移动，使得匹配概率增加。其实这里有点像之前卷积神经网络中参数w更新的原理，w也是在梯度方向上移动，以此来使得loss值最小。但是这两种算法不是简单的对xt进行处理，①是对预测的均值μ进行处理，让均值μ在梯度方向上移动。另外，s可以叫做学习率，主要是控制在梯度方向上移动的步幅，和之前卷积神经网络中的w更新公式中的学习率差不多。2，那么具体来说，如何根据当前时刻xt的梯度，来调整xt？BigGAN残差块是什么意思？
9、论文阅读：无监督的感知驱动深水下图像增强
DQHNB的博客
09-27 833
当前的 UIE 算法主要通过最小化增强图像和地面真实图像之间的重建损失，在合成数据集或具有伪标签的数据集上训练深度神经网络（DNN）。但是，合成和真实的水下图像有差距，在合成图像上训练的网络在真实环境下不一定有好的表现。并且使用L1和L2损失函数，往往忽视人类感知的重要性，（L1和L2损失只关注像素级别的差异，没有考虑人类视觉系统的感知特性。人类的眼睛对边缘和纹理的变化敏感，但是对颜色变化相对不敏感。为此，可以使用感知损失或者风格迁移损失 ​），导致增强的图片不尽人意。因此，本论文提出了一个。
论文阅读《Co-clustering for Federated Recommender System》
wzj1212123的博客
09-26 1269
第二个创新点凑数用的，典中典利用服务器的聚类信息给客户端作对比学习，重点在于提出以往聚类的不足以及新型聚类方法。
论文阅读：LM-Cocktail: Resilient Tuning of Language Models via Model Merging
comli_cn的博客
09-27 308
预训练的语言模型不断进行微调，以更好地支持下游应用。然而，此操作可能会导致目标领域之外的通用任务的性能显著下降。为了克服这个问题，我们提出了LM Cocktail，它使微调后的模型在总体上保持弹性。我们的方法以模型合并（Model Merging）的形式进行，其中微调的语言模型通过加权平均与预训练的基础模型或其他领域的对等模型合并。尽管简单，LM Cocktail却出奇地有效：由此产生的模型在整个通用任务领域内拥有强大的性能，同时在其目标领域保持卓越的能力。
PO2GO、PO2Vec论文阅读与模型复现报告
cqbzcsq的博客
09-25 921
今年的一篇经典蛋白质功能预测论文，思路自然，效果也不错模型主要分为两个部分，PO2Vec和PO2GO，PO2Vec是PO2GO的一个模块。数据集使用了CAFA3和Swissprot，使用的是蛋白质序列特征和GO标签依赖关系特征。
【论文阅读】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
qq_33673253的博客
09-26 1058
本文介绍了扩散策略，这是一种通过将机器人的视觉运动policy表示为条件去噪扩散过程来生成机器人行为的新方法。我们对来自 4 个不同的机器人操作基准的 15 个不同任务的扩散策略进行了基准测试，发现它始终优于现有的 state-of-the-art 机器人学习方法，平均提高了 46.9%。扩散策略学习动作分布评分函数的梯度，并通过一系列随机朗之万动力学步骤在推理过程中针对该梯度场迭代优化。
车辆重识别（利用扩散模型合成有效数据进行行人再识别预训练）论文阅读2024/9/27
vegetabler的博客
09-28 416
在本文中，我们提出了一种新的范式Diffusion - ReID，在不需要任何数据收集和标注成本的情况下，基于已知的身份来有效地增强和生成多样化的图像。得益于我们提出的方法，我们首先创建了一个新的大规模行人重识别数据集Diff - Person，该数据集由来自5，183个身份的超过777K张图片组成。具体来说，LPE模块将特定的ID图像序列和类别级别的提示P作为输入，通过预训练的图像描述模型生成具有细粒度局部细节和全局上下文信息的增强提示PE。3 )特定的数据源限制了数据的数量和多样性。
论文阅读 | HiDDeN网络架构
2301_81845359的博客
09-27 1127
直接使用神经网络生成含秘载体，是使用深度学习在图像水印及信息隐藏上的里程碑。
【论文阅读】基于真实数据感知的模型功能窃取攻击
最新发布
Glass_Gun的博客
10-01 167
模型功能窃取攻击是人工智能安全领域的核心问题之一，目的是利用有限的与目标模型有关的信息训练出性能接近的克隆模型，从而实现模型的功能窃取。针对此类问题，一类经典的工作是基于生成模型的方法，这类方法利用生成器生成的图像作为查询数据，在同一查询数据下对两个模型预测结果的一致性进行约束，从而进行模型学习。然而此类方法生成器生成的数据常常是人眼不可辨识的图像，不含有任何语义信息，导致目标模型的输出缺乏有效指导性。针对上述问题，提出一种新的模型窃取攻击方法，实现对图像分类器的有效功能窃取。
车辆重识别（注意力 U-Net：学习在哪些区域寻找胰腺）论文阅读2024/10/01
vegetabler的博客
10-01 111
对于一张特征图来说，对于这张图中的每一个像素向量（例如a），计算该向量与所有像素向量的相似度，对这些相似度进行激活函数处理得到注意力得分。对注意力得分进行归一化得到a向量对所有像素向量的注意力权重，然后a向量对每一个像素向量的注意力权重与对应的值向量（有可能是对应的像素向量）相乘并求和，得到最终的更新特征。
GS-SLAM论文阅读笔记--GEVO
qq_45795134的博客
09-26 1088
虽然高斯飞溅(GS)允许高保真重建3D场景，但目前基于高斯飞溅的SLAM记忆效率不高，因为大量过去的图像被存储以重新训练高斯函数以减少灾难性遗忘。这些图像通常需要比建图本身高两个数量级的内存，因此占据了总内存使用量。为了减轻遗忘，基于神经辐射场和高斯飞溅(GS)的方法都在当前滑动窗口之外存储了大量的过去图像，以重复重新训练地图。不幸的是，用于存储这些图像的开销内存占总内存的大部分，并且比当前滑动窗口和地图本身都要高几个数量级。
论文笔记：LAFF 文本到视频检索的新基准
zly_Always_be的博客
10-01 648
整理了ECCV2022 Lightweight Attentional Feature Fusion: A New Baseline for Text-to-Video Retrieval 论文的阅读笔记
请介绍一下Multi-Modal Fusion Transformer for End-to-End Autonomous Driving的背景
04-07
Multi-Modal Fusion Transformer for End-to-End Autonomous Driving是一种基于深度学习的自动驾驶技术，旨在利用多模态传感器（如摄像头、激光雷达、GPS等）的数据进行自动驾驶决策和控制。该技术可以提高自动驾驶的准确性和安全性，是未来自动驾驶领域的重要发展方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值