Gabor特征

一、傅里叶变换

二、Gabor核与Gabor特征

2.1 一维Gabor核

2.1.1 一维傅里叶变换

一维傅里叶变化定义如下：

$$\hat{f}(\omega)=\int_{-\infty}^\infty f(t) e^{-i2\pi t \omega}\, dt,\quad \omega \text{为任意实数} \tag{1}$$

$f(t)$为输入信号,以t为自变量，随时间变化，是时域信号
$\omega$表示分解得到的各个波的频率
$\hat{f}(\omega)$
表示傅里叶变换后的信号，描述了信号值随频率的变化。

2.1.2 一维高斯函数

试一下：

$$\hat{f}(\xi)=\int_{-\infty}^\infty f(t) e^{-i2\pi t \xi}\, dt,\quad \xi \text{为任意实数} \tag{1}$$

2.1.2 一维 Gabor 核

一维Gabor核由一个高斯核与一个复数波的乘积定义：

$$Gabor(t) = ke^{i\theta} \omega(at) s(t) \tag{2}$$

其中，

$$\begin{cases} \omega(t)=e^{-\pi t^2} \\\ s(t) = e^{i(2\pi f_0 t)} \end{cases}$$

这里，$f_0$ 是复数波$s(t)$的频率。

将复数波$s(t) = e^{i(2\pi f_0 t)}$代入$\ref{2}$式中，得到：

$$\begin{align} Gabor(t) & = k \omega(at) e^{i(2\pi f_0 t + \theta)} \\\ & = k \omega(at) \left[ \cos(2\pi f_0 t+\theta) + i\sin(2\pi f_0 t+\theta) \right] \end{align}$$
上面最后一步得到了 Gabor 核的复数表示，我们就可以按实部和虚部将其拆分为实核和虚核，在很多应用中，我们只需要应用 Gabor核的实数部分即可：

$$\begin{cases} Gabor_{real}(t) = \omega(at)\cos(2\pi f_0 t + \theta) \\\ Gabor_{imag}(t) = \omega(at)\sin(2\pi f_0 t + \theta) \end{cases}$$

2.1.3 Gabor 核的傅里叶变换

将 Gabor 核（式$\ref{2}$）套入一维傅里叶变换（式$\ref{1}$）中，得到 Gabor 核的傅里叶变换：

$$\begin{align} \hat{Gabor}(f) & = ke^{i\theta} \int_{-\infty}^{\infty} e^{-i 2\pi f t} \omega(at) s(t) \,dt \\\ & = ke^{i\theta} \int_{-\infty}^{\infty} e^{-i2\pi (f-f_0)t} \omega(at) \,dt \\\ & = (k/a) \cdot e^{i\theta} \cdot \hat{\omega}\left( (f-f_0)/a \right) \\\ \end{align} \tag{3}$$

上式中出现了 $\hat{\omega}(\frac{f-f_0}{a})$ 的形式，这里需要补充高斯核一个很有趣的性质：$\hat{\omega}(f) = \omega(f) = e^{-\pi f^2}$，这个性质这里就不证明了，有兴趣的同学可以自己推导一下。根据这个性质，上式中的 $\hat{\omega}(\frac{f-f_0}{a})$ 也可以写作 $\omega(\frac{f-f_0}{a})$，二者可以自由转换。
此外，$\ref{3}$式中的末尾，我们知道了Gabor核傅里叶变换后是这样一个形式：$\frac{k}{a} e^{i\theta} \hat{\omega}(\frac{f-f_0}{a})$，这个形式可以看做是一个复数波，它的幅度

$$A = \left\lVert \hat{Gabor}(f) \right\rVert = \frac{k}{a} \hat{\omega}(\frac{f-f_0}{a}) = \frac{k}{a} \omega(\frac{f-f_0}{a})$$

也就是说，Gabor核相当于在频率域应用了一个高斯核窗口。假设我们这时有了一个信号的频率域：$f_{in}(f)$，那么我们直接用频率域的Gabor核 $\hat{Gabor}$ 与其相乘，就实现了对 $f_0$ 频率邻域范围内的滤波效果：输入信号频率离这个 Gabor 核的 $f_0$ 越远，则乘上Gabor核之后的结果就越小，尤其是当 $f_{in}$ 在 $f_0$ 的 $3\sigma$ 区间外时，这个频率几乎可以忽略不计。于是，最终能保留下来的信号就都是 $f_0$ 频率附近的信号了。

这个想法，用公式表示出来就是：

$$\hat{Gabor} \cdot \hat{f_{in}}$$

从这个角度出发，给我们任意一个输入信号，我们先用傅里叶变换将其变换到频率域得到$\hat{f_{in}}$，再用 Gabor 核的傅里叶变换结果与之相乘，就是频域滤波的结果了。

不过我们大可不必这么麻烦，因为有卷积定理：

$$Gabor * f_{in} = \hat{Gabor} \cdot f_{in}$$

这样看来，我们只需要用 Gabor 核和输入信号卷积就可以得到输入信号在某频率邻域附近的响应结果！！

我们既可以用这个响应结果来实现频域滤波，又可以用它来描述信号的频率信息。下面要提到的Gabor特征，就是用Gabor核来描述信号的频率信息，从而作为信号的特征的。

2.2 二维 Gabor 变换

将上面的一维情况推广至二维：

2.2.1 二维傅里叶变换：

二维傅里叶变换定义如下：

$$\hat{f}(\xi_x, \xi_y) = \iint f(x,y) e^{-i2\pi (\xi_x x + \xi_y y)}\, dx dy$$

为了简洁，改用 $(u_0, v_0)$ 来代替 $(\xi_x, \xi_y)$，则上式可写为：

$$\hat{f}(u_0, v_0) = \iint f(x, y) \exp {\left( -i2\pi {\left( u_0 x + v_0 y\right) }\right) } \, dxdy \tag{4}\label{4}$$

提醒一下，这里 $(x, y)$ 表示空域坐标，$(u_0, v_0)$ 表示频域坐标。

2.2.2 二维复数波

二维复数波完整定义如下（用复指数形式表示）：

$$s(x,y) = \exp\left( i \left(2\pi (u_0 x + v_0 y) + P \right) \right)$$

由于初始相位对Gabor核影响不大，因此可以将其省略，得到更简洁的形式（论文中关于 Gabor 函数的定义各不一样，主要是这些细节的考虑不同）：

$$s(x,y) = \exp \left(i \left(2\pi (u_0 x + v_0 y) \right) \right)$$

2.2.3 二维高斯函数

二维高斯函数定义如下：

$$\omega(x, y, \sigma_x, \sigma_y) = K \exp(-\pi \left (x-x_0)^2 / \sigma_x^2 + (y-y_0)^2 / \sigma_y^2\right ) \tag{5}\label{5}$$

其中，$\sigma_x, \sigma_y$ 分别为两个方向上的尺度参数（scaling parameters），用来控制高斯函数在两个方向上的“展布”形状。$(x_0, y_0)$ 为高斯函数的中心点。$K$ 为常数。

考虑全面的话，高斯函数还要有（顺时针）旋转，即：

$$\begin{cases} (x-x_0)_r = (x-x_0)\cos \theta + (y-y_0)\sin \theta \\\ (y-y_0)_r = -(y-y_0)\sin \theta + (y-y_0)\cos \theta \end{cases}$$

加入旋转参数后的二维高斯函数为：

$$\omega_r(x, y, \theta, \sigma_x, \sigma_y) = K \exp(-\pi \left (x-x_0)_r^2 / \sigma_x^2 + (y-y_0)_r^2 / \sigma_y^2\right )$$

上图即是一个二维高斯核的图像，该高斯核中，$(x_0, y_0) = (0, 0)$，$(\sigma_x^2, \sigma_y^2) = (50, 40)$，$\theta = -45°$

从图像可以看出，$\sigma_x 和 \sigma_y$分别控制了高斯两个方向的“展布”情况。

2.2.4 Gabor 滤波器核

类似一维 Gabor 核，我们将二维高斯函数与二维复数波相乘，就得到了二维的Gabor核：

$$\begin{align} Gabor(x_0, y_0, \theta, \sigma_x, \sigma_y, u_0, v_0) & = s(x,y) \omega_r(x,y) \\\ & = K \exp\left(-\pi \left( (x-x_0)_r^2/\sigma_x^2 + (y-y_0)_r^2/\sigma_y^2 \right) \right) \exp\left(i 2\pi (u_0 x + v_0 y) \right) \\\ \end{align}$$

它的各个参数含义如下：

$(x_0, y_0)$: 高斯核的中心点

$\theta$: 高斯核的旋转方向（顺时针）

$(\sigma_x, \sigma_y)$: 高斯核两个方向上的尺度

$(u_0, v_0)$: 频域坐标

K <script type="math/tex" id="MathJax-Element-113">K</script>: 高斯核的幅度（magnitude）的比例

     上图为Gabor核在频率域中的图示，这个Gabor核就是从之前那个高斯核得到的，其参数分别为：$u_0 = v_0 = 1/80$，$x_0 = y_0 = 0$，$\sigma_x^2 = 50$，$\sigma_y^2 = 40$，$\theta = -45°$，$F_0 = \sqrt{2}/80$，$\omega_0=45°$。

 上图为Gabor核在空间域中的图示，参数和上面那个Gabor核一样。图像左边是实部，右边是虚部。这样的Gabor核与图像进行卷积，我们便能得到图像在$(u_0, v_0)$频率附近的响应情况。在图像处理中，通常使用Gabor的实部进行卷积就可以。

三、Gabor 核作为图像特征

  通过上面的分析，我们知道了，一个Gabor核能获取到图像某个频率邻域的响应情况，这个响应结果可以看做是图像的一个特征。那么，我们如果用多个不同频率的Gabor核去获取图像在不同频率邻域的响应情况，最后就能形成图像在各个频率段的特征，这个特征就可以描述图像的频率信息了

原文地址：http://mengqi92.github.io/2015/10/11/gabor/