图像检索知识整理（传统方法）

图像检索知识整理

本文是对传统的图像检索方法、特征提取、描述子生成、匹配的方法进行部分总结

1. SIFT特征提取

1.1 尺度空间生成

$$L(x,y,\sigma )=G(x,y,\sigma )\ast I(x,y)$$
$$G(x,y,\sigma )=\frac{1}{2\pi {\sigma }^2}{e}^{\frac{-(x^2+y^2)}{2{\sigma }^2}}$$

1.2 检测尺度空间极值点

1.3 精确定位极值点

$$D(x,y,\sigma )=D(x,y,\sigma )+\frac{\partial D^T}{\partial x}x+\frac{1}{2}{x}^T\frac{{\partial }^{2}D}{\partial x^2}$$
求导得：
$$\hat{x}=-\frac{{\partial }^2{D}^{-1}}{\partial x}\frac{\partial D}{\partial x}$$

1.4 为每个关键点指定方向参数

利用关键点领域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性
$$m(x,y)=\sqrt{(L(x+1,y)-L(x-1,y){)}^2+(L(x,y+1)-L(x,y-1){)}^2}$$
每个关键点三信息：位置、所处尺度、方向

1.5 关键描述子生成

以特征点为中心取 8 * 8的领域作为采样窗口，将采样点与特征点相对方向归入。

最后得到 8 * 8 *8的向量转换 [1, 128] 向量的描述子。

2. 匹配方法:词袋模型（BOW)

词袋模型（Bag of Words），是通过计算特征词频，利用词频反映图像全局特征，用于后续匹配的方法。对SIFT特征点放在一起进行聚类，得到代表性聚类中心（单词）、做词频统计（Term frequency)统计。
TF：词频统计
IDF：做完词频TF统计后，为了降低停用词带来的干扰，可以再算上个逆文档词频IDF，给TF乘上一个权重。
然后L2归一化，用内积做相似性度量。

缺点：未考虑位置因素，是特征的0阶统计

3.Fisher Vector

将一个样本图片概率分布表示为各个特征维度上面的概率分布乘积
$$L(x|\lambda )=\sum _{t=1}^{T}logp(x_t|\lambda )$$
对高斯分布的变量求偏导：
$$\begin{gathered} y_{t_i}=\frac{w_i{u}_i(x_t)}{{\sum }_{j=1}^K{w}_j{u}_j(x_t) \\ } \end{gathered}$$
$$\frac{\partial L(x|\lambda )}{\partial w_i}=\sum _{t=1}^T[\frac{y_t(i)}{w_i}-\frac{y_t(1)}{w_1}],fori\ge 2$$
$$\frac{\partial L(x|\lambda )}{\partial u_i^d}=\sum _{t=1}^T{y}_t(i)[\frac{x_t^d-u_i^d}{({\sigma }_i^d{)}^2}]$$
$$\frac{\partial L(x|\lambda )}{\partial {\sigma }_i^d}=\sum _{t=1}^T{y}_t(i)[\frac{x_t^d-u_i^d}{({\sigma }_i^d{)}^3}-\frac{1}{{\sigma }_i^d}]$$
分布结合梯度方向