Image classification with Bag of Visual Words and KNN classifier

Image classification with Bag of Visual Words and KNN classifier

Objective:
Build an image classification system using Bag of Visual Words (BoVW) with SIFT
local features and KNN classifier. The system will be trained and tested using the
Fashion-MNIST dataset.

首先介绍SIFT：

SIFT算法主要分为四个步骤：

尺度空间极值检测（Scale-space extrema detection）：通过使用高斯差分函数来搜索所有尺度上的图像位置，识别出其中对于尺度和方向不变的潜在兴趣点。
关键点定位（Keypoint localizatio）：在每个候选位置上，利用一个拟合精细的模型确定位置和尺度，关键点的选择依赖于它们的稳定程度。
方向匹配（Orientation assignment，为每个关键点赋予方向）：基于局部图像的梯度方向，为每个关键点位置分配一个或多个方向，后续所有对图像数据的操作都是基于相对关键点的方向、尺度和位置进行变换，从而获得了方向于尺度的不变性。
关键点描述符（Keypoint descriptor）：在每个关键点领域内，以选定的尺度计算局部图像梯度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。
Introduction to SIFT (Scale-Invariant Feature Transform)
接下来分别介绍这四个步骤。

尺度空间极值检测（Scale-space extrema detection）

利用高斯核构建高斯金字塔，每个尺度层包含一组尺度的图像。这里不同组的特征金字塔的获取采用隔点取样获得。在每个组内（octave）两两做差，构建高斯差分金字塔。
图像（高斯）金字塔生成方式主要有两种：

1. 自下而上：利用向下取样，不断缩小原图。
2. 自上而下：利用向上取样，不断扩大原图。

向下取样：

1. 对图像进行高斯滤波。
2. 删除所有的偶数行和列。

高斯滤波：

1. 对图像进行加权平均，每个像素点由其本身和邻域内的其他像素值经过加权平均后得到。

高斯滤波中图像大小没有发生变化，但向下取样的第二步执行后，长和宽均变为原来的1/2.即生成图变为原图的四分之一。
这样不断迭代向下取样，就会生成越来越多的层，这些图像自底向上不断缩小，形成了一个金字塔的形状，即图像金字塔。

向上取样：
向上取样是由小图像不断放大成为大图像的过程。

1. 将图像在每个方向上扩大为原图像的2倍，新增的行和列均用0来填充。
2. 并使用与“向下取样”相同的卷积核乘以4，再与放大后的图像进行卷积运算，以获得“新增像素”的新值。

注意：向下取样和向上取样不是互逆的。

在高斯差分金字塔中，每个3x3x3的立方体，比较中心点与其他的26个点的大小，如果中心点最大或者最小，那么这个中心点就是极值点。