图像金字塔在基于特征点SLAM中的作用，以及ORB-SLAM中的应用详解，如何解决特征点尺度不变性

图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低¹。

上述是百度百科关于图像金字塔的定义，看完觉得也不咋形象。我们先看一张金字塔的示意图：

下面我从图像金字塔在SLAM中的应用中，实际的理解一下它，并且看一下它是怎么应用在SLAM中的特征点提取上的。

在SLAM中图像金字塔的应用，主要是用来解决尺度不变性问题。尺度不变性由构建图像金字塔，并在金字塔的每一层上检测角点来实现²。

下面我以ORB-SLAM2中的处理金字塔的方式进行探究。

首先先把图片一步一步缩小到前一张的$\frac{1}{1.2}$，这样我们就可总共可以得到8张图片，这8张图片的效果如下：

注意：以下图片在手机端可能观看时，效果不佳，建议电脑端看，更直观！

第0层（原图）

第1层

第2层

第3层

第4层

第5层

第6层

第7层

上面就是按照我们预定缩放比产生的图像金字塔，连续观察这8张图，我们发现我们似乎离场景越来越远，第7层图片中的人小的已经快看不清了，显然通过这种方法只要一张图片就能制造出简单的深度效果。

按说我们离场景远了，看到的内容会更多，但是记录一张图片之后，在缩放的过程中，没法去补充内容进去，所以图片虽然制造出了深度变化的效果，但是画面尺寸也变小了，这一点你自己可以想一下。

现在我们直观的看到了图像金字塔的效果了，如果我们还想让它更加接近于真实的视觉效果，我们是不是还可以给它加点儿模糊效果啊，想象一下我们看东西的时候，越近的是不是越清楚啊，越远的越模糊。

既然是讲在SLAM中的应用，那我就给你看一个SLAM的例子，在SLAM中为了达到特征点的尺度不变性，我们常常对图片做图像金字塔，然后分别对每一层图片提取特征点，为什么要这样做呢？

我们想象一下，我们在一定距离下看到场景当中的一个人，但是当我们往后退100米再观察的时候，那个人就变成了了一个点了，可能就被检测成了关键点，所以为了满足拍摄一张图片涵盖多个观测距离，我们就通过图像金字塔缩放图片，然后分别提取关键点，这样就可以产生更多的点，涵盖更多的尺度。

下面我把ORB-SLAM2图像金字塔中提取的关键点图片拿出来看一下，如下系列图：

第0层

第1层

第2层
第3层

第4层

第5层

第6层

第7层

观察上面的几张图我们可以很容易发现，通过这样的金字塔之后，我们的关键点提取的更多，而且也产生出了在不同距离上提取特征点的效果，这样就可以保证特征点尺度不变性，也就是说我在一个距离上拍摄的图片，我下一次在这个距离的更远的地方拍摄的图片，也依然可以匹配到很多特征点，是不是就解决了尺度导致的特征点匹配问题啦！

---

1. 图像金字塔，百度百科 ↩︎

2. 《视觉SLAM十四讲 从理论到实践》，P135页 ↩︎