高斯核函数如何将低维向量映射到高维向量
RBF 函数定义
κ ( x 1 , x 2 ) = < ϕ ( x 1 ) , ϕ ( x 2 ) > = exp ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) \kappa(\mathbf{x_1}, \mathbf{x_2}) = \left<\phi(\mathbf{x_1}), \phi(\mathbf{x_2})\right>=\exp\left(-\frac{||\mathbf{x_1} - \mathbf{x_2}||^2}{2\sigma^2}\right) κ(x1,x2)=⟨ϕ(x1),ϕ(x2)⟩=exp(−2σ2∣∣x1−x2∣∣2)
其中, x 1 , x 2 \mathbf{x_1}, \mathbf{x_2} x1,x2 为低维 R n \mathbf{R}^n Rn的向量, κ ( x 1 , x 2 ) \kappa(\mathbf{x_1}, \mathbf{x_2}) κ(x1,x2) 是 x 1 , x 2 \mathbf{x_1}, \mathbf{x_2} x1,x2 映射到高维 R ∞ \mathbf{R}^\infty R∞ 后向量 ϕ ( x 1 ) , ϕ ( x 2 ) \phi(\mathbf{x_1}), \phi(\mathbf{x_2}) ϕ(x1),ϕ(x2)的核函数。
RBF 函数性质
- 所有的 ϕ ( x ) \phi(\mathbf{x}) ϕ(x) 都是 x \mathbf{x} x 被映射到无穷维空间后的一个在超球面上的点,因为
∣ ∣ ϕ ( x ) − 0 ∣ ∣ 2 = ∣ ∣ ϕ ( x ) ∣ ∣ 2 = < ϕ ( x ) , ϕ ( x ) > = exp ( − ∣ ∣ x − x ∣ ∣ 2 2 σ 2 ) = exp ( 0 ) = 1 ||\phi(\mathbf{x}) - \mathbf{0}||^2 = ||\phi(\mathbf{x}) ||^2 = \left<\phi(\mathbf{x}), \phi(\mathbf{x})\right> = \exp\left(-\frac{||\mathbf{x} - \mathbf{x}||^2}{2\sigma^2}\right) = \exp(0) = 1 ∣∣ϕ(x)−0∣∣2=∣∣ϕ(x)∣∣2=⟨ϕ(x)</