算法基本概念

1. 尺度空间 (Scale Space) /分辨率不变

 1）在尺度空间中，尺度越大图像就越模糊，尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。

    2）那为什么要讨论尺度空间呢？

 用机器视觉系统分析未知场景时，计算机并不预先知道图像中物体的尺度。我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。另外如果不同的尺度下都有同样的关键点，那么在不同的尺度的输入图像下就都可以检测出来关键点匹配，也就是尺度不变性。

   3）高斯核是唯一可以产生多尺度空间的核（《Scale-space theory: A basic tool for analysing structures at different scales》）。

   4）一个图像的尺度空间 L(x,y,σ) ,定义为原始图像 I(x,y)与一个可变尺度的2维高斯函数G(x,y,σ)卷积运算。

        

         尺度空间：

         

   5）尺度是自然客观存在的，不是主观创造的。高斯卷积只是表现尺度空间的一种形式。

   6）示例：一个5*5的高斯模版如下所示

                 

2. 金字塔多分辨率 （Pyramids)/分辨率在变

  1）图像金字塔一般包括2个步骤，分别是使用低通滤波平滑图像；对图像进行降采样（也即图像缩小为原来的1/4，长宽高缩小为1/2），从而得到一系列尺寸缩小的图像。

 

  2）图像金字塔也正如其名，是以一个降采样的形式来表示图像的多分辨率，类似一个金字塔形状。

  3）高斯金字塔

       高斯金字塔在多分辨率金字塔的基础上加入了高斯滤波，也就是对金字塔每层图像采用不同的参数sigma进行了高斯卷积，使得金字塔的每层有多张图片组成为一个Octave，每组有多张（也叫层interval）图像。在SIFT算子中，很多人对Octave和Interval不太了解，现在应该清楚了吧（每个Octave是由同一大小的图像，经过不同sigma高斯滤波得到的，而Interval则表示的是同一个sigma高斯滤波的图像）。另外，降采样时，金字塔上边一组图像的第一张图像（最底层的一张）是由前一组（金字塔下面一组）图像的倒数第三张隔点采样得到。

3. 高斯平滑滤波

    1）高斯核是唯一可以产生多尺度空间的核，细节分析可以参考：《Scale-space theory: A basic tool for analysing structures at different scales》。

    2）一个图像的尺度空间L(x,y,σ) 定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,σ)卷积运算。  

    3）高斯模糊是一种图像模糊滤波器，它用正态分布计算图像中每个像素的变换。

         N 维空间正态分布方程为：

        

         二维空间高斯函数：

        

       其中 r 是模糊半径 (r² = u² + v²)，σ 是正态分布的标准偏差。在二维空间中，这个公式生成的曲面的等高线是从中心开始呈正态分布的同心圆。分布不为零的像素组成的卷积矩阵与原始图像做变换。每个像素的值都是周围相邻像素值的加权平均。原始像素的值有最大的高斯分布值，所以有最大的权重，相邻像素随着距离原始像素越来越远，其权重也越来越小。这样进行模糊处理比其它的均衡模糊滤波器更高地保留了边缘效果，参见尺度空间实现。

    4）尺度空间表示为：

         

    5）高斯模糊线性可分：使用二维矩阵变换的高斯模糊可以通过在水平和竖直方向各进行一维高斯矩阵变换相加得到。

4. 多尺度与多分辨率的区别

    多尺度与金字塔多分辨率之间本质的区别：

     1）多尺度空间：是由不同高斯核平滑卷积得到，在所有尺度上有相同的分辨率（分辨率不变）；

     2）金字塔多分辨率：表达每层分辨率减少固定比率（分辨率在变）。

          所以，金字塔多分辨率生成较快，且占用存储空间少；而多尺度表达随着尺度参数的增加冗余信息也变多。多尺度表达的优点在于图像的局部特征可以用简单的形式在不同尺度上描述；而金字塔表达没有理论基础，难以分析图像局部特征。

5.  高斯拉普拉斯(Laplacian of Gaussian <LoG>)

 常用名字：Laplacian, Laplacian of Gaussian, LoG, Marr Filter 

  1）图像I(x,y)的Laplacian L(x,y)为：

   

  2）用途：

   - 边缘检测

   - Blob检测

  3）Laplacian算子计算图像的二阶导数

   

 4）由于Laplacian对高频噪声敏感，所以在执行Laplacian Filter之前，先执行Gaussian smoothed，以减小高频噪声成分

   \

  5）LoG执行过程

   

  6）LoG是一个抑制低频和高频的带通滤波器，其效果如下：

    

6.拉普拉斯金字塔

  1) 结合尺度空间表达和金字塔多分辨率表达，就是在使用尺度空间时使用金字塔表示，在计算机视觉中最有名莫过于拉普拉斯金字塔。

  2）拉普拉斯金字塔顾名思义就是通过对图像进行拉普拉斯操作，然后进行一个降采样的过程。具体来说就是：原始图像作为金字塔的底层，也即0层，称为g0，对0层图像g0进行进行拉普拉斯金操作，得到第一层图像g1；接着对第一层图像进行拉普拉斯操作，得到第二层图像g2，依次类推，并进行一个降采样，如此构造拉普拉斯金字塔。 

7.DoG(Difference of Gaussian：高斯差分）

 1）DoG（Difference of Gaussian：高斯差分），其实是对高斯拉普拉斯LoG的近似

   

 2）它是两个不同尺度的Gaussians（不同尺度的Gaussians：即它的方差sigma不一样）之差

   

 3）是LoG的高效实现，两个低通Filter相减，等于一个带通Filter，可解释LoG也是一个Band Filter。

 4）在某一尺度上的特征检测可以通过对两个相邻高斯尺度空间的图像相减，得到DoG的响应值图像D(x,y,σ)。具体来说：

   4.1）分别对原图进行相邻尺度的高斯滤波

               

         4.2）将上面滤波得到的两幅图像g1和g2相减得到：

     

    5）构造高斯金字塔

       为了得到DoG图像，首先要构造高斯金字塔，高斯金字塔在多分辨率金字塔的基础上加入了高斯滤波，也就是对金字塔每层图像采用不同的参数sigma进行了高斯卷积，使得金字塔的每层有多张图片组成为一个Octave，每组有多张（也叫层interval）图像。在SIFT算子中，很多人对Octave和Interval不太了解，现在应该清楚了吧（每个Octave是由同一大小的图像，经过不同sigma高斯滤波得到的，而Interval则表示的是同一个sigma高斯滤波的图像）。另外，降采样时，金字塔上边一组图像的第一张图像（最底层的一张）是由前一组（金字塔下面一组）图像的倒数第三张隔点采样得到，图像表示如下：           

      

      6）生成DoG金字塔，如下图所示：