Word_And_Me_的博客

【题目】：LoFLAT: Local Feature Matching using Focused Linear Attention Transformer【中文题目】：LoFLAT：使用聚焦线性注意力变换器进行局部特征匹配【引用格式】：Cao N, He R, Dai Y, et al. LoFLAT: Local Feature Matching using Focused Linear Attention Transformer[J]. arXiv preprint arXiv:2410.22710,

【题目】：Leveraging Semantic Cues from Foundation Vision Models for Enhanced Local Feature Correspondence【中文题目】：利用基础视觉模型的语义线索增强局部特征对应性【引用格式】：Cadar F, Potje G, Martins R, et al. Leveraging Semantic Cues from Foundation Vision Models for Enhanced Local Feature C

密码短语是一个额外的安全层，用于保护您的私钥。如果您设置了密码短语，则在每次使用私钥时（例如，通过 SSH 登录到远程服务器时），都需要输入它。然后提示是否要为私钥设置一个密码短语（passphrase）在生成秘钥的时候，首先会提示将秘钥保存到什么位置。2、生成秘钥之后，在github中创建ssh即可。

原因：MNN 匹配不存在空间差异，因为匹配是通过直接索引得分最高的像素来选择的，但无法实现亚像素精度。另外，双softmax在训练过程中至关重要，而在推理中，不使用softmax，直接使用分数矩阵S进行MNN匹配仍然可以得到很好的效果。对于之前的方法，都是直接在整个粗特征图上进行注意力变换，vanilla attention（香草注意力）代替linear attention来提高效率，但是模型能力达不到最优，这里文中提出高效的聚合注意力机制。根据粗匹配提取的精细局部特征块，搜索高精度的亚像素匹配。

RoI池化层将来自RPN的候选区域进一步处理，用于分类和边界框回归。

随后，两幅图像的粗特征放到视图切换器中进行处理，这里将大尺度图像的粗特征切换到稀疏分支，检测头提取为稀疏特征。并将小尺度图像的粗特征保留为密集特征；注意消息表示为 M。对于每个粗匹配，文中在源精细特征图上采样单个特征，并在目标精细特征图上裁剪大小为 w ×w 的特征窗口。（1）检测两幅图像中的关键点（2）使用密集特特征作为粗特征（3）检测源图像中的关键点，并在目标图像中使用密集特征；文中计算源特征窗口的质心与目标特征窗口中的所有特征之间的相关性图，表示匹配概率，然后通过计算概率分布的期望得到精细匹配位置。

创建一个事件对象，用于通知线程或进程发生了特定事件。成功时返回事件对象的句柄；失败时返回NULL。创建一个计数信号量对象，成功时返回信号量对象的句柄；失败时返回NULL；当四个保存图像的线程都执行完毕之后，发送一次信号。设置事件对象为有信号状态。四个保存图像的线程；增加信号量的计数值。等待一个对象的状态变为有信号状态，或者等待超时。只使用计数信号量进行控制。

网址目前的方法主要依赖于标记的特定领域视频数据集，这限制了学习相似性嵌入的跨域泛化。文中的方法由两个关键组件组成。首先，基于 SAM，文中开发了一个新的管道：MASA。有了这个管道，文中从丰富的未标记图像集合中为密集实例级对应关系构建了详尽的监督。它使我们能够学习强大的判别实例表示来跟踪任何对象，而不需要任何视频注释。其次，文中引入了一个通用 MASA 适配器，以有效地转换来自冻结检测或分割主干的特征，以学习可泛化的实例外观表示。同时，MASA 适配器的蒸馏分支也可以显着提高分割一切的效率。

【代码】【学习记录】锚框。

个人测试记录，有问题还请指出，谢谢参考：C++开发基础之网络编程WinSock库使用详解TCP/UDP Socket开发_c++ udp使用什么库-CSDN博客代码中Logger测试见文章： c++中spdlog的使用/python中logger的使用-CSDN博客收发TCP信号 运行结果如下： 收发UDP信号3、SocketManager.cpp

c++/python中logger的使用

网址文中指出，训练图像匹配模型需要多视图图像和ground-truth对应关系，数据多样性和规模是其他计算机视觉问题中可泛化模型的关键。为此，文中提出了一个利用互联网视频的自训练框架GIM，基于任何图像匹配架构学习单个可泛化模型。GIM可以使用各种视频，但由于互联网视频自然多样且几乎是无限的，文中采用了来自YouTube的50小时的视频，涵盖了26个国家、43个城市、各种闪电条件、动态对象和场景类型。标准图像匹配基准由RGBD或COLMAP（SfM+MVS）创建。

【代码】OS常用操作。

与所有其他方法相比，OmniGlue 不仅在 MegaDepth-1500 和最先进的稀疏匹配器 LightGlue 上实现了相当的性能，而且在 6 个新领域中的 5 个上表现出更好的泛化能力。此外，表 5 (2) 的第三行说明了位置引导注意力的影响，展示了域内和域外数据的改进。相比之下，OmniGlue 展示了强大的泛化能力，超过了 SuperGlue，精度提高了 12%，召回率提高了 14%。而对于在训练时没有看到的匹配模式的图像对下，学习到的先验很容易受到攻击，限制了泛化能力。，而不是所有关键点。

网址大多数现有的匹配放大都是有三个阶段工作：特征点检测、特征点描述和特征点匹配。然而，当在低纹理区域、重复模式、视角变化、光照变化和运动模糊等情况下难以提取可重复兴趣点，进而会导致特征点匹配失败。LoFTER首先通过对图像进行卷积下采样以及上采样等操作，获得在原始图像1/8维度处的粗粒度特征表示和1/2维度处的细粒度特征表示；然后，将粗粒度特征表示进行Transformer特征提取；将得到的特征表示图进行特征匹配，获得粗匹配；

网址现有的图像匹配方法往往需要大量的计算资源和复杂的实现，这在资源受限的设备上是不可行的。

代码案例：torch.sum/max/min()：计算张量中所有元素的总和。 ：返回张量中的最大值及其索引。 ：返回张量中的最小值及其索引。 用于计算张量中所有元素的总和。可以指定沿着哪个维度进行求和，也可以不指定，这样将对整个张量进行求和。代码案例： 返回张量中的最大/小值及其索引。可以指定沿着哪个维度进行计算最大/小值，也可以不指定，这样将对整个张量进行计算。代码案例：torch.squeeze/unsqueeze() 函数会在指定的维度上增加一个尺寸为 1

ffmpeg -i input.flv output.mp4 消耗资源较大。

创建线程创建线程，让线程在后台操作，其余代码继续执行。