随机傅里叶特征(Random Fourier Features)

随机傅里叶特征(Random Fourier Features)

如果使用核方法来预测测试集的样本$x$，比如核岭回归kernel ridge regression，我们需要计算：

$$f(x)=\sum _{i=1}^N{c}_{i}k(x_i,x)$$

需要$O(Nd)$其中N是样本量，d是x的维度大小。当样本量特别大的时候，这个复杂度是不可接受的。我们能不能找到一个近似方法，找到一个叫randomized feature map $z:R^d\to R^D$使得

$$k(x,y)=<\varphi (x),\varphi (y)>\approx z(x{)}^{T}z(y)$$

为了找到这么个z，我们先介绍一个在调和分析中，针对一类shift-invariant kernel的重要定理：

定理(Bochner [2])： 一个连续的核方法$k(x,y)=k(x-y)$，在$R^d$上是正定的，当且仅当$k(\delta )$是某个非负测度的傅里叶变换。

首先意识到，概率测度是非负测度，因此，我们可以找到一个概率测度，使得k是它的傅里叶变换，也就是说：

$$k(x-y)={\int }_{R^d}p(\omega )e^{j{\omega }^{\prime }(x-y)}d\omega =E_{\omega \sim p(w)}[{\zeta }_{\omega }(x){\zeta }_{\omega }(y{)}^{\ast }]$$

其中${\zeta }_{\omega }(x)=e^{j{w}^{T}x}$. 所以，理论上我们只需要从不停从$p(w)$中采样$w$，就能逼近$k(x-y)$的取值。

其次，因为我们的kernel算出来是一个实数，所以${\zeta }_{\omega }(x)$中的复数，直观上可以丢掉，那么根据欧拉公式，丢掉之后就剩下cos项，所以，可以令$z_w(x)=\sqrt{2}\cos \left(w^{T}x+b\right)$，来计算kernel：

$$k(x,y)=E_{\omega \sim p(w)}[z_w(x)z_w(y)]$$

其中$w\sim p(w),b\sim Uniform(0,2\pi )$.

接下来的问题是，怎样采样呢？这个概率测度$p$是长什么样的呢？显然$p(w)$的分布决定了kernel的形式，所以，他们应该是一种一一对应的关系，这个关系已经有人给我们算好了，如下图所示：

所以，最终实际使用的时候，我们只需根据我们选择的kernel函数，然后查查其对应的$p(w)$，然后从中抽样$w^{(1)},...,w^{(D)}\sim p(w),b^{(1)},...,b^{(D)}\sim Uniform[0,2\pi ]$，并估计均值

$$k(x,y)\approx \frac{1}{D}\sum _{i=1}^D{z}_{w^{(i)},b^{(i)}}(x)z_{w^{(i)}{b}^{(i)}}(y)=\mathbf{z}(x{)}^T\mathbf{z}(y)$$

其中$\mathbf{z}(x)\equiv \sqrt{\frac{2}{D}}\left[\begin{array}{c}\cos \left({\left(w^{(1)}\right)}^{T}x+b^{(1)}\right)\\ ⋮\\ \cos \left({\left(w^{(D)}\right)}^{T}x+b^{(D)}\right)\end{array}\right]$.

参考文献

[1] Rahimi, Ali, and Benjamin Recht. “Random features for large-scale kernel machines.” Advances in neural information processing systems 20 (2007): 1177-1184.
[2] W. Rudin. Fourier Analysis on Groups. Wiley Classics Library. Wiley-Interscience, New York, reprint
edition edition, 1994.