作为数据预处理的一个重要步骤,特征提取是CV领域一个复杂但不可或缺的过程。它通过某种变换或映射,从原始数据中提取出对目标任务更有帮助的信息,以提高模型性能、降低计算成本、提升数据可解释性和模型泛化能力。
目前,特征提取主要有2大类主流方法:基于检测器的方法、无检测器的方法。基于检测器的方法依赖于手工设计的特征或者通过训练得到的深度神经网络来提取特征点,而无检测器的方法则直接从数据中提取特征,两者各有优势。
在实际应用中,选择合适的特征提取方法对后续模型的性能提升至关重要。本文介绍这2大类主流特征提取方法,并细分了7个具体方向,每种方法都附有代表论文以及相应代码(共42篇),方便同学们pick合适的方法,高效涨点。
论文原文以及代码需要的同学看文末
基于检测器的方法
这类方法通常包括以下几个关键步骤:首先,使用检测器在图像中定位到可能的特征点或区域;然后,对这些特征点或区域进行描述,生成特征向量;最后,利用这些特征向量进行后续的任务,如分类、识别等。这类方法的典型代表包括SIFT、SURF和ORB等算法。
1.先检测后描述
ZippyPoint: Fast Interest Point Detection, Description, and Matching through Mixed Precision Discretization
方法:研究的重点是网络量化技术和二进制描述符规范化层的应用,以加快推理速度并在计算能力有限的平台上使用。通过提出的ZippyPoint网络,研究成功地提高了网络运行速度、描述符匹配速度和3D模型大小,从而实现了至少一个数量级的改进。
创新点:
-
基于深度学习的轻量级二进制描述符:作者提出了ZippyPoint,这是一个通过网络量化和二进制描述符实现高效检测和描述的方法。相比传统的手工算法,ZippyPoint在计算资源有限的平台上实现了至少一个数量级的提速,并且在性能上与全精度模型相媲美。
-
二进制描述符的标准化层:为了优化二进制描述符的性能,作者引入了二进制标准化(Bin.Norm)层,将描述符限