Computer Vision: A Modern Approach - 计算机视觉书籍阅读笔记 -第五章 - 局部图像特征

Book name : Computer Vision: A Modern Approach

Book URL: https://www.academia.edu/38213969/Computer_Vision_A_Modern_Approach_2nd_Edition

---

第五章：局部图像特征

• 图像中物体定义：与图像背景分离的且封闭的轮廓区域定义为物体。
• 图像局部特征主要包括物体的边缘信息，角点信息等
• 如角点信息，通过对角点的领域进行描述，可以形成图像描述子，通过描述子之间的匹配可以实现图像之间的匹配，在计算机视觉领域，这种匹配策略是非常重要的

5.1 计算图像梯度

• 图像梯度定义：
  

• 通过转化为有限差分形式：
  

• 有限差分对噪声的反应敏感，通过有限查分可以得到噪声的梯度估计

• 最常用的噪声模型为：加性平稳高斯噪声模型，即每个像素点加上同一个独立于该像素的高斯概率分布

• 用上述噪声解释图像中的热噪声现象如下所示：
  

• 在差分操作前可先进行平滑操作降低噪声影响

5.1.1 差分高斯滤波

• 平滑后进行差分的过程，等同于采用一个差分的平滑核与该图像进行卷积
• 平滑后的结果相比于差分估计具有很小的噪声响应，如下图所示：
  
• 用于估计差分的参数叫做平滑尺度因子，其对差分滤波的影响很大，如下图所示：

5.2 对图像梯度的表征

5.2.1 基于梯度的边缘检测子

• 边缘：图像强度急剧变化的曲线

• 查找边缘的最常用方法是首先通过计算估计图像梯度的幅值，如下所示为使用不同平滑阈值操作后的边缘提取结果：
  

• 通过非最大抑制来提取沿着梯度方向梯度幅值最大的像素点
  

• 设置两个阈值提取边缘的方法 – 基于梯度的边缘检测算法
  

• 基于上述算法得到的效果如下所示：
  

5.2.2 方向

• 图像整体光照变化会影响梯度的绝对值大小，如果使用固定的阈值情况下会出现问题
• 表征图像梯度的方向，可以解决上述问题，因为梯度方向是不随比例所变化的，如下图所示：
  
• 梯度方向场取决于计算梯度的平滑尺度，如下图所示：
  
• 方向可以表示特殊的纹理，如下图所示不同的模式具有不同的方向直方图：
  

5.3 查找角点和建立近邻

• 角点适合于图像匹配

5.3.1 查找角点

• 一种方法是查找边缘，然后沿着边缘查找角点
• 角点具备两个重要属性
  • 具有很大的梯度幅值
  • 在很小的近邻内，梯度反向变化尖锐
• 给出在某窗口内方向变化的一种思路如下：
  
• Harris角点检测子通过下式查找局部最大值
  
• 上述局部最大值通过卡阈值方法得到角点，该方法示意图如下：
  
• 该方法对于平移和旋转较为鲁棒，如下图所示：

采用尺度和方向构建近邻

• 将检测到的角点转换为其近邻，需要估计该环形图像块的半径
• 一种有效的方法是采用高斯拉普拉斯滤波器：
  
• 使用拉普拉斯变换前需要首先使用平滑，如下图所示为拉普拉斯变换的结果，其中角点附件的尺度可以通过查找局部极值点进行估计：
  
• 通过上述方式得到角点附件的尺度半径即可提取角点附近的表征图像块，通过使用方向直方图来进行图像块表征，完整的算法以及的效果如下所示：
  
  
  

5.4 通过SIFT特征和HOG特征描述近邻

得到一个图像块的中心、半径和方向的信息后，需要对它进行描述

• 很自然的方法是采用局部直方图来进行表征

5.4.1 SIFT特征

• SIFT (Scale Invariant Feature Transform)特征描述子采用图像梯度的幅值和方向，对图像梯度进行构造
• SIFT对图像平移、旋转和尺度鲁棒
• 一个近邻SIFT特征描述子的构造过程如下所示：
  
  
  

5.4.2 HOG特征

• HOG (Histogram Of Gradient Orientations)特征是一种很重要的SIFT特征变种
• 计算带有权重的梯度直方图
• 相比于在整个近邻进行归一化来处理梯度作用，HOG只对附件梯度进行归一化处理
• 之前在行人检测领域广泛应用
• HOG特征的可视化效果，可看出轮廓感很强
  

5.5 实际计算局部特征

• 特征构造过程有较多的变种，细节性问题影响其性能表现

---

Summary

该章节主要对图像局部特征建模方法进行了介绍。首先介绍如何计算图像的梯度，其中重点介绍了差分高斯滤波方法。然后介绍了对图像梯度的表征方法，对于边缘检测的方法进行了介绍。随后作者介绍了查找角点和建立近邻的方法，这些角点使用与图像匹配，通过角点得到的合适尺度的近邻可以用于提取该区域的描述子。提取近邻描述主要介绍了SIFT特征与HOG特征，这些方法对于平移、尺度等方面较为鲁棒。

---

Thoughts

• 理解提取图像局部特征的这些传统方法有利于理解现在深度神经网络的工作方式