图像处理基础：特征金字塔

预备知识

 

特征金字塔的概念

首先，金字塔的模型我想大家都不陌生，如下图：

我们不难看出的是他的结构呈现自上而下，横向面积越来越大的特点，若将它分为无限可细分的横向平面，便是特征金字塔具体化的表现形式。那它与特征有啥关系呢？

接着，我们需要明白另两个概念：图像的特征｜上/下采样

什么是图像的特征？我认为用一句简单的话可以描述为：能够代表图像中物体信息的像素信息，特别地按信息的划分方式可分为：颜色特征、形状特征、纹理特征等；想要具体了解，可以参考以下链接：常见的图像特征_知识搬运工的博客-CSDN博客_图像特征

那什么是上/下采样，我们接触图像处理可以说经常遇到这个词的应用，我们用通俗的话讲，上/下采样可对应为放/缩。是的没错，就是这么简单的2个字，emo。那这2个采样方式跟特征金字塔有什么关系呢？我们可以看到下面这张图：

假设，这个猫猫的图片按金字塔的方式特征提取（是个值得非常值得研究的东西）为3张特征图（图中的像素信息代表了这只猫猫的特征，如耳朵、鼻子、眼睛、身体等）。这里的金字塔方式可以描述为：以黄色特征图为基础，那么橙色就可以理解为是相对于黄色的下采样（缩），灰色就是上采样（放）。那么就有人问了，这样干的理由是什么？那就涉及到金字塔的应用了。那么我们需要对放/缩的实质与应用理解更深刻一点，放缩究竟能干什么？

 上/下采样（放/缩）在图像处理领域的应用

结合实际，缩小图像，我们可以更加清楚地关注到图像的全局信息。比如你在微博刷到的小姐姐都是缩略图。

而放大图像，我们可以精细地了解图像的局部信息。看到好看的，是不是点开原图放大看一下？

对于做图像处理的我们，经常可以遇到的是：

上采样系列：插值算法（常说的超分算法等，假的remosic等）

下采样系列：多尺度降噪（讲图像从原尺寸缩小为不同尺寸，分别降噪，然后重新resize融合，从而处理局部噪点）

金字塔的应用

从上面的解释，我们知道了上/下采样，可以使我们关注全局/局部的知识，那么也可以应用于图像处理，我们可以先假设，一张图片可以解析为n个（上采样特征，基值，下采样特征）向量。以上文那只猫为例：每个特征向量可以形象的解释为：

（猫的眼睛，动物的眼睛，眼睛）

（猫的毛发，动物的毛发，毛发）

....

不难看出地是，特征金字塔能够讲图像信息分解为局部、一般、全局信息的特征图，将这3种特征图交由计算机处理便能够图像信息的多尺度处理，我们可以把过程描述为：

1、分解图像信息为Pic_local｜Pic_base｜Pic_global 等3类特征信息

2、选择需要的信息，若更关注局部，则对Pic_base｜Pic_global 进行下采样，此过程称为resize，重新恢复尺寸

3、融合特征图信息，交由后续算法（目标检测算法较为常见，上采样为了识别较大物体，而下采样为了识别更小物体）过程处理