- 博客(9)
- 收藏
- 关注
RSS订阅原创 视频防抖【1】：【SensorFlow】Sensor and Image Fused Video Stabilization
正常情况下，直接估计或平滑大尺度相机运动会引入相对更大的误差和视觉失真，所以预对齐部分对于大尺度运动平滑就比较重要，现在常用的方法大多以估计单应矩阵来实现预对齐的功能，但这种依赖视觉匹配的方式限制性比较大，在光流估计任务中，大多利用多尺度金字塔实现 coarse to fine 的预对齐。基于传感器的预稳定模块：通过传感器信息有效删除大型相机运动，同时在移除掉部分运动后，后续残余光流的滤波尺度就足够小，在运动区域和遮挡区域的运动平滑的压力就会变小，造成失真的可能性也就相应减小。
2025-09-25 10:56:12
768
原创 3D姿态估计【1】：【VGGT】Visual Geometry Grounded Transformer
VGGT是一种基于Transformer的多任务3D场景重建方法，其核心创新在于通过单次前向计算预测相机参数、深度图等3D属性，无需后处理优化。它采用交替的局部和全局注意力机制，支持从单个到数百个视图的灵活输入，所有预测结果均基于第一帧坐标系。相比传统依赖Bundle Adjustment的方法，VGGT在保持较高精度的同时显著降低了计算成本。实验表明，多任务统一训练比单任务训练效果更好，使用DINOv2预训练模型能提升性能稳定性。该方法在真实场景中表现良好，但对极端旋转和大变形场景存在局限，未来可通过微调
2025-09-04 16:56:11
697
原创 特征匹配【7】：【MambaGlue】Fast and Robust Local Feature Matching With Mamba
效率与鲁棒性的权衡：现有基于Transformer的局部特征匹配方法计算复杂度高（随关键点数量平方增长），难以满足实时性需求。Mamba（选择性状态空间模型）与RNN这种状态空间模型要比Transformer结构更容易感知顺序关系（位置信息），Transformer则是通过位置编码来感知顺序关系，Mamba与Transformer的混合结构可以同时捕捉全局和局部上下文，提升特征表达能力。这种算法通过并行运算、内核融合和有效存储（中间）结果的重新计算，提高了计算效率。
2025-07-30 10:14:29
1134
原创 特征匹配【6】：【SemaGlue】Enhance Image Feature Matching with Applicable Semantic Amalgamation
现有方法受特征提取器的性能的限制，并难以捕获受稀疏纹理或遮挡影响的视觉信息。由于语义特征和视觉特征存在领域差异，所以在融合语义特征和视觉特征前需要进行领域间的对齐，本文采用的方法是在特征维度用注意力机制进行两个领域间特征的对齐。通过从预训练的语义模型中提取丰富的语义特征，将语义特征的尺寸对齐到描述符特征，并利用特征点位置对稠密语义特征图插值，得到特征点对应的语义特征。利用预训练语义模型和特征点检测模型提取语义特征、视觉特征以及特征点位置信息，利用语义特征增强视觉的特征表征能力，弥补纯视觉特征的表征缺陷。
2025-07-29 14:09:03
218
原创 特征匹配【5】：【OmniGlue】Generalizable Feature Matching with Foundation Model Guidance
现有的特征点检测和提取算法获取的描述符特征表达能力有限，难以适配一些变化域匹配的任务现有特征匹配算法的匹配能力过于依赖特征点检测和提取获取的原始描述符特征的质量。
2025-07-28 10:42:29
194
原创 特征匹配【4】：【ResMatch】Residual Attention Learning for Local Feature Matching
每次都会对注意力机制得到的权重矩阵进行筛选，每个特征点只会建立topk个连接参与特征向量的更新，与LightGlue不同的是，它不会移除特征点，所以只做到了稀疏化特征聚合。现有方法缺乏对注意机制如何用于特征匹配的见解，不关心位置特征和视觉特征的表征偏好，这种空间信息和视觉信息纠缠的方式不利于将注意力focus到相关特征上。自注意力机制关注图内特征点的空间相关性，具体哪些位置的特征点对目标特征点有特征聚合的贡献，交叉注意力机制关注图间特征点的视觉相关性，具体哪些视觉特征可以匹配，
2025-07-25 10:49:51
271
原创 特征匹配【3】：【LightGlue】Local Feature Matching at Light Speed
SuperGlue用绝对位置编码的方式，并且只在第一层将位置编码与视觉编码融合，但经过多次的特征聚合操作，模型更倾向于学习几何结构关系（视觉），很难在最后的特征中保留空间信息。，将注意力的内积计算用相对位置关系重新建模，这种位置编码的方式让注意力计算不仅依赖于视觉特征还依赖它们的相对位置，SuperGlue基于全量的特征点叠加多层注意力结构的方式，需要耗费大量计算资源，处理的效率也比较低。独立的结构，与主体网络结构分开训练，用于动态评估匹配点对的置信度，用来。会议：ICCV 2023。
2025-07-23 19:15:10
473
原创 特征匹配【2】：【SuperGlue】Learning Feature Matching with Graph Neural Networks
一种基于注意力图神经网络的特征匹配方法：通过自注意力和交叉注意力交替构建图结构来增强特征显著性和可匹配性表达。设计带有dustbin通道的软分配矩阵来处理非正常匹配，并通过最小化对数似然损失函数优化匹配结果，从而让匹配关系满足实际约束，有效解决遮挡等问题。
2025-07-18 16:15:19
344
原创 特征匹配【1】：前言
最近在对图像匹配任务做方案调研，翻阅了很多前辈的博文，突然也想记录一下自己学习之后的一丝拙见，现阶段仅记录深度学习相关方法，传统方法有缘再写吧。新手小白的新手村之战，想写一些大白话理解帮助同为新手的朋友们快速了解，写的不对的地方还望大家指正，感兴趣的也可以评论交流，本人长期逛荡在图像处理的工作中，啥都了解一些，样样知道点，样样都不通，欢迎大家来指导一二！
2025-07-17 16:50:27
343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人