**RONO：**带有噪声标签的 2D-3D 跨模态检索
**论文地址：**https://openaccess.thecvf.com/content/CVPR2023/papers/Feng_RONO_Robust_Discriminative_Learning_With_Noisy_Labels_for_2D-3D_Cross-Modal_CVPR_2023_paper.pdf
**项目地址：**https://github.com/penghu-cs/RONO
1. RONO 概述
1.1 RONO 背景与意义
- 现在有越来越多 2D（图像）和3D（点云/模型）数据，跨模态检索（比如用图像找对应的3D模型，或反过来）变得很热门。
- 问题：
- 2D 和 3D 数据差异大（结构不一样、语义对齐难）。
- 数据标注不完美（标签有错误、模糊、噪声）。
2. RONO 模型详解
符号：
- 多模态数据集：D={
Mj}j=1M={
Xj,Yj}j=1N\mathcal{D} = \{\mathcal{M}_j \}_{j=1}^{M} = \{ \mathcal{X}_j,\mathcal{Y}_j\}_{j=1}^{N}D={
Mj}j=1M={
Xj,Yj}j=1N
- MMM：模态的数量。
- NNN：样本的数量。
- KKK：类别的个数。
- Mj={
(xij,yij)}i=1N\mathcal{M}_j = \{(x_i^j,y_i^j)\}_{i=1}^{N}Mj={(xij,yij)}i=1N
- NNN：样本的个数 。
- (xij,yij)(x_i^j,y_i^j)(xij,yij)：第 iii 个样本在第 jjj 个模态上的输入与类别标签。（可能有噪声）
2.1 RDCL 模块
Robust Discriminative Center Learning（鲁棒判别中心学习）
2.1.1 对比中心误差 ttt
**目的：**测量公共表示（zi\mathbf{z}_izi）与聚类中心（ck\mathbf{c}_kck）之间的语义差异，衡量样本和各类中心之间的差异。
tij=1K−1∑k≠yie ck⊤zij⏟与错误中心的平均相似−e cyi⊤zij⏟与正确中心的相似 t_i^j =\underbrace{\frac{1}{K-1}\sum_{k\neq y_i} e^{\,c_k^\top z_i^j}}_{\text{与错误中心的平均相似}} -\underbrace{e^{\,c_{y_i}^\top z_i^j}}_{\text{与正确中心的相似}} tij=与错误中心的平均相似 K−11k=yi∑eck⊤zij−与正确中心的相似
最低0.47元/天 解锁文章
扫一扫
1219
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
