周报-231010

学习内容

1.论文的查找

2.深度学习

---

学习时间

2023.10.01 — 2023.10.10

---

学习笔记

论文寻找

一共找了 3 篇论文，都是关于跨域描述子匹配的，以下为详细信息：

Cross domain 2D-3D descriptor matching for unconstrained 6-DOFpose estimation

来源期刊：ScienceDirect

接收日期：2022.2.13

发布日期：2023.4.29

Keywords：

• 2D-3D Matching
• Cross-Domain feature matching
• 6-DOF Pose estimation
• Image localization
• Camera localization
• Visual localization

Problem：

这篇论文主要解决了以下问题：

问题1：在无约束的情况下，实现3D点云和2D图像之间的特征匹配，以支持相机的6自由度（6-DOF）姿态估计。这对于许多计算机视觉和机器人应用非常重要，例如室内导航、物体识别和增强现实。

问题2：提高了特征匹配的准确性和鲁棒性，以确保在各种情况下都能够成功进行姿势估计，包括复杂的环境和视点变化。

问题3：实现了一种深度学习网络架构，用于从2D图像和3D点云中提取特征描述符，并使用这些描述符进行匹配，从而实现了姿势估计。

问题4：通过结合2D-3D特征匹配和随机采样一致性（RANSAC）算法，实现了准确的6-DOF相机姿势估计，这是该领域的一个关键问题。

综合来说，这篇论文致力于解决在计算机视觉和机器人领域中非常重要的问题，即在无约束条件下实现准确的6-DOF相机姿势估计，从而为各种应用提供了强大的定位和导航能力。论文的贡献在于提出了一种新的深度学习方法，以实现更好的特征匹配和姿势估计性能。

Direct Image to Point Cloud Descriptors Matching for 6-DOF Camera Localization in Dense 3D Point Cloud

来源期刊：Neural Information Processing

本文为上一篇文章的前篇。

这是本篇的网络结构

这是新篇的网络结构

2D3D-MVPNet

来源期刊： applied intelligence

Keywords：

• Cross-domain feature descriptor
• 2D-3D matching
• Point cloud projection
• Image patch
• Point cloud volume

解决的问题：

这篇论文解决了2D图像和3D点云之间的匹配问题。具体来说，它关注了在计算机视觉和计算机图形学领域中的一个关键挑战，即如何有效地将来自2D图像和3D点云的信息进行匹配，以实现诸如物体识别、定位和场景重建等应用。传统上，这两种不同的数据模态之间的匹配非常具有挑战性，因为它们具有不同的表示和特征。

为了解决这一问题，论文提出了一个名为2D3D-MVPNet的深度学习模型，该模型能够跨越2D图像和3D点云之间的模态差异，实现高效而准确的匹配。具体来说，论文的主要贡献包括：

1. 提出了2D3D-MVPNet：该模型结合了多视角投影和跨模态匹配模块，可以将2D图像和3D点云之间的信息进行有效融合和匹配。
2. 实验验证：论文通过广泛的实验验证了2D3D-MVPNet在不同数据集上的性能，结果表明该模型在2D-3D匹配任务中表现出色，相对于现有方法取得更好的性能。
3. 消融研究：研究者进行了详细的消融研究，以分析网络中各个组件的作用，进一步证明了多视角投影和跨模态匹配模块的重要性。

总的来说，这篇论文的目标是解决2D图像和3D点云之间的模态不匹配问题，为跨模态匹配任务提供了一个创新的深度学习解决方案。它为多个领域，如机器人导航、虚拟现实和增强现实等，提供了有价值的技术支持。

---

深度学习

3.2 选择最可能的句子（Picking the most likely sentence）

seq2seq 是一种输入为序列、输出也为序列的模型。比如机器翻译，与之前的不太一样，可以用下图看一看区别：

我们可以把机器翻译也叫做条件语言模型。

机器翻译模型在输出时，会有多种搭配的句子，对于每个句子都会有一个概率，一般来讲，会选择概率更高的那句（其实是 Beam Search）。

但是不能使用贪心，贪心每次准备生成词的时候，会找当下最好的，但是结果不一定是最好的。比如说：

Jane is visiting Africa in September.

Jane is going to be visting Africa in September.

显然句子 1 更简洁、更好。如果使用贪心，生成 going 的概率可能大于 visiting，导致生成一个欠佳的句子。

---