本文详细介绍了RBF函数的定义和性质，揭示了为何RBF函数被用于将低维向量映射到高维空间，以实现支持向量机中的核函数。通过反推RBF核函数的表达式，展示了RBF如何构造一个无穷维的特征向量，使得在高维空间中实现线性可分性，尽管这会带来计算上的挑战。
高斯核函数如何将低维向量映射到高维向量
RBF 函数定义
κ ( x 1 , x 2 ) = < ϕ ( x 1 ) , ϕ ( x 2 ) > = exp ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) \kappa(\mathbf{x_1}, \mathbf{x_2}) = \left<\phi(\mathbf{x_1}), \phi(\mathbf{x_2})\right>=\exp\left(-\frac{||\mathbf{x_1} - \mathbf{x_2}||^2}{2\sigma^2}\right) κ(x1,x2)=⟨ϕ(x1),ϕ(x2)⟩=exp(−2σ2∣∣x1−x2∣∣2)
其中， x 1 , x 2 \mathbf{x_1}, \mathbf{x_2} x1,x2 为低维 R n \mathbf{R}^n Rn的向量， κ ( x 1 , x 2 ) \kappa(\mathbf{x_1}, \mathbf{x_2}) κ(x1,x2) 是 x 1 , x 2 \mathbf{x_1}, \mathbf{x_2} x1,x2 映射到高维 R ∞ \mathbf{R}^\infty R∞ 后向量 ϕ ( x 1 ) , ϕ ( x 2 ) \phi(\mathbf{x_1}), \phi(\mathbf{x_2}) ϕ(x1),ϕ(x2)的核函数。
RBF 函数性质
- 所有的 ϕ ( x ) \phi(\mathbf{x}) ϕ(x) 都是 x \mathbf{x} x 被映射到无穷维空间后的一个在超球面上的点，因为
∣ ∣ ϕ ( x ) − 0 ∣ ∣ 2 = ∣ ∣ ϕ ( x ) ∣ ∣ 2 = < ϕ ( x ) , ϕ ( x ) > = exp ( − ∣ ∣ x − x ∣ ∣ 2 2 σ 2 ) = exp ( 0 ) = 1 ||\phi(\mathbf{x}) - \mathbf{0}||^2 = ||\phi(\mathbf{x}) ||^2 = \left<\phi(\mathbf{x}), \phi(\mathbf{x})\right> = \exp\left(-\frac{||\mathbf{x} - \mathbf{x}||^2}{2\sigma^2}\right) = \exp(0) = 1 ∣∣ϕ(x)−0∣∣2=∣∣ϕ(x)∣∣2=⟨ϕ(x)</
最低0.47元/天 解锁文章
扫一扫
1005
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
