Paper--Space Partioning RANSAC

写在前面

1、本文内容：
论文Space Partioning RANSAC阅读笔记
文章地址：https://arxiv.org/pdf/2111.12385.pdf
2、如有错漏欢迎指正及交流
3、转载本文请注明出处，本文链接：https://blog.csdn.net/qq_41102371/article/details/121561280

关于RANSAC

ransac是计算机视觉中的经典算法，比如会用于图像的单应性变换，点云配准，空间几何体线、面、体的拟合等等，
核心思想是在一组匹配中剔除outlier并得到一个最好的模型

文章内容

摘要

A new algorithm is proposed to accelerate RANSAC model quality calculations. The method is based on partitioning the joint correspondence space, e.g., 2D-2D point correspondences, into a pair of regular grids. The grid cells are mapped by minimal sample models, estimated within RANSAC, to reject correspondences that are inconsistent with the model parameters early. The proposed technique is general. It works with arbitrary transformations even if a point is mapped to a point set, e.g., as a fundamental matrix maps to epipolar lines. The method is tested on thousands of image pairs from publicly available datasets on fundamental and essential matrix, homography and radially distorted homography estimation. On average, it reduces the RANSAC run-time by 41% with provably no deterioration in the accuracy. It can be straightforwardly plugged into state-of-the-art RANSAC frameworks, e.g. VSAC.

提出一种新的算法用于加速RANSAC模型质量计算评估的方法。方法基于将对应空间划分至一系列规则的网格，例如2d-2d的图像对应点对。网格单元由RANSAC估计的最小样本模型映射，以剔除与模型参数不一致的对应关系。所提出的方法是通用的。即使一个点映射到一个点集，它也适用于任意变换，例如，基本矩阵映射到极线。该方法在数千对公开数据集的图像对上进行了测试，包括基本矩阵、单应矩阵和径向畸变单应矩阵估计。平均而言，它减少了41%的RANSAC运行时间，并且可以证明精度没有下降。它可以直接嵌入state-of-the-art RANSAC框架，例如VSAC。

主要思想

减少计算量

RANSAC repeatedly selects random minimalsubsets of the data points and fits a model to them, e.g.,a 3D plane to three points, an essential matrix to five 2Dpoint correspondences, or a rigid transformation to three 3D point correspondences.
RANSAC会在所有dada points(或者说correspondences)里面采样模型所需最小的子集来计算模型，比如3d平面需最少要3个点来确定，本质矩阵需要5个2d点对(correspondences)，对于点云刚体变换需要3组点对来确定

每次RANSAC时，对于由最小子集计算得到的模型，会使用剩余的数据去计算该模型的inlier ratio，那么这就涉及到所有correspondences的计算，文中提出的思想是利用空间一致性的划分避免每次都去计算所有的数据。
以图像举例：
将图像划分均匀的cell集合$C$，每次使用一个网格$C_i$里面的点来RANSAC计算模型，然后遍历每个cell，保留当前的best model。所以每次只用cell里面的数据去计算inlier ratio，并不会用全部数据，因此减少计算量。
图1：

另外，在计算inlier ratio之前，会先进行一次数据预剔除。如图1，比如现在已经得到了图像的单应性变换的transformation matrix，先使用这个matrix将左图的矩形cell(左图中的红框)变换到右图，可以得到一个 区域(右图中的红框)，此时可以得到该区域和右图哪些box是有overlap区域的，则有了绿框。再看图2，现在只会考虑在绿色框内的对应关系，而比如黄线，没有在绿色框内，因此则不考虑，对其进行剔除。这一步感觉时在减小计算inlier ratio时的分母，因此，inlier ratio就会更大。

图2：

预先剔除cell

假如现在已经遍历了一些cell，有了best model以及该best model对应的inlier 点的数量比如是80个点，如果当前cell里面，总共的对应点对才60,，60<80，那么直接放弃这个cell，因为就算所有点都是inlier点，也就60个，也小于80。因此这一步也是能够减少计算量。

思考

主要思想

1、空间划分，也就是让在空间具有近邻关系的对应点来进行计算，从而避免计算inlier ratio时会让所有数据参与，因此减少了数据量
2、减少不必要的计算，在总点数还没有best model的inlier点数的数量多时，可以考虑不计算该区域

问题

在点云配准问题中，因为有时候overlap会很低，而非overlap区域会有相似结构、形状的点云区域存在，假设为$P_s$，所以可能在非overlap的$P_s$区域也有比较好的correspondences，而且比较多，甚至多于了overlap区域$P_{overlap}$，那么按照文章所提的空间划分，可能overlap区域的correspondences会少于$P_s$区域的inlier点数，因此overlap区域的模型不会成为best model，那么最后出来的transformation matrix就是有问题的。

完

--------------------------------------------------------------------------------------------202111