[SVM] 径向基函数(radial based function)如何将低维向量映射到高维向量的

Problems 专栏收录该内容
3 篇文章 0 订阅

RBF 函数定义

κ ( x 1 , x 2 ) = < ϕ ( x 1 ) , ϕ ( x 2 ) > = exp ⁡ ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) \kappa(\mathbf{x_1}, \mathbf{x_2}) = \left<\phi(\mathbf{x_1}), \phi(\mathbf{x_2})\right>=\exp\left(-\frac{||\mathbf{x_1} - \mathbf{x_2}||^2}{2\sigma^2}\right) κ(x1,x2)=ϕ(x1),ϕ(x2)=exp(2σ2x1x22)
其中, x 1 , x 2 \mathbf{x_1}, \mathbf{x_2} x1,x2 为低维 R n \mathbf{R}^n Rn的向量, κ ( x 1 , x 2 ) \kappa(\mathbf{x_1}, \mathbf{x_2}) κ(x1,x2) x 1 , x 2 \mathbf{x_1}, \mathbf{x_2} x1,x2 映射到高维 R ∞ \mathbf{R}^\infty R 后向量 ϕ ( x 1 ) , ϕ ( x 2 ) \phi(\mathbf{x_1}), \phi(\mathbf{x_2}) ϕ(x1),ϕ(x2)的核函数。

RBF 函数性质

  1. 所有的 ϕ ( x ) \phi(\mathbf{x}) ϕ(x) 都是 x \mathbf{x} x 被映射到无穷维空间后的一个在超球面上的点,因为
    ∣ ∣ ϕ ( x ) − 0 ∣ ∣ 2 = ∣ ∣ ϕ ( x ) ∣ ∣ 2 = < ϕ ( x ) , ϕ ( x ) > = exp ⁡ ( − ∣ ∣ x − x ∣ ∣ 2 2 σ 2 ) = exp ⁡ ( 0 ) = 1 ||\phi(\mathbf{x}) - \mathbf{0}||^2 = ||\phi(\mathbf{x}) ||^2 = \left<\phi(\mathbf{x}), \phi(\mathbf{x})\right> = \exp\left(-\frac{||\mathbf{x} - \mathbf{x}||^2}{2\sigma^2}\right) = \exp(0) = 1 ϕ(x)02=ϕ(x)2=ϕ(x),ϕ(x)=exp(2σ2xx2)=exp(0)=1
  2. 无穷维空间导致计算运行开销耗时较大,训练时间长,虽然kernel函数已经将计算量核存储空间减小了

为什么 RBF 函数是将 x \mathbf{x} x 被映射到无穷维后构造的核函数?

让我们来看看 ϕ ( x ) \phi(\mathbf{x}) ϕ(x) 的表达式,这里我们用 RBF kernel函数反推
< ϕ ( x 1 ) , ϕ ( x 2 ) > = exp ⁡ ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) = exp ⁡ ( − ∣ ∣ x 1 ∣ ∣ 2 2 σ 2 ) exp ⁡ ( − ∣ ∣ x 2 ∣ ∣ 2 2 σ 2 ) exp ⁡ ( x 1 ⋅ x 2 σ 2 ) \left<\phi(\mathbf{x_1}), \phi(\mathbf{x_2})\right> = \exp\left(-\frac{||\mathbf{x_1} - \mathbf{x_2}||^2}{2\sigma^2}\right) \\ = \exp(-\frac{||\mathbf{x_1}||^2}{2\sigma^2})\exp(-\frac{||\mathbf{x_2}||^2}{2\sigma^2})\exp(\frac{\mathbf{x_1\cdot x_2}}{\sigma^2})\\ ϕ(x1),ϕ(x2)=exp(2σ2x1x22)=exp(2σ2x12)exp(2σ2x22)exp(σ2x1x2)
其中,
exp ⁡ ( x 1 ⋅ x 2 σ 2 ) = Σ i = 1 ∞ ( x 1 ⋅ x 2 σ 2 ) i i ! \exp(\frac{\mathbf{x_1\cdot x_2}}{\sigma^2}) = \Sigma_{i=1}^{\infty}\frac{(\frac{\mathbf{x_1\cdot x_2}}{\sigma^2})^i}{i!} exp(σ2x1x2)=Σi=1i!(σ2x1x2)i
从而
< ϕ ( x 1 ) , ϕ ( x 2 ) > = Σ i = 0 ∞ ( x 1 T ⋅ x 2 σ 2 ) i i ! exp ⁡ ( − ∣ ∣ x 1 ∣ ∣ 2 2 σ 2 ) exp ⁡ ( − ∣ ∣ x 2 ∣ ∣ 2 2 σ 2 ) = Σ i = 0 ∞ ( x 1 T σ ) i i ! exp ⁡ ( − ∣ ∣ x 1 ∣ ∣ 2 2 σ 2 ) ⋅ ( x 2 σ ) i i ! exp ⁡ ( − ∣ ∣ x 2 ∣ ∣ 2 2 σ 2 ) = Σ i = 0 ∞ ( ( x 1 σ 2 ) i i ! exp ⁡ ( − ∣ ∣ x 1 ∣ ∣ 2 2 σ ) ) T ⋅ ( x 2 σ ) i i ! exp ⁡ ( − ∣ ∣ x 2 ∣ ∣ 2 2 σ 2 ) = ϕ T ( x 1 ) ⋅ ϕ ( x 2 ) \left<\phi(\mathbf{x_1}), \phi(\mathbf{x_2})\right> = \Sigma_{i=0}^{\infty}\frac{(\frac{\mathbf{x_1^T\cdot x_2}}{\sigma^2})^i}{i!}\exp(-\frac{||\mathbf{x_1}||^2}{2\sigma^2})\exp(-\frac{||\mathbf{x_2}||^2}{2\sigma^2})\\ =\Sigma_{i=0}^{\infty} \frac{(\frac{\mathbf{x_1^T}}{\sigma})^i}{\sqrt{i!}}\exp(-\frac{||\mathbf{x_1}||^2}{2\sigma^2})\cdot \frac{(\frac{\mathbf{x_2}}{\sigma})^i}{\sqrt{i!}}\exp(-\frac{||\mathbf{x_2}||^2}{2\sigma^2})\\ =\Sigma_{i=0}^{\infty}(\frac{(\frac{\mathbf{x_1}}{\sigma^2})^i}{\sqrt{i!}}\exp(-\frac{||\mathbf{x_1}||^2}{2\sigma}))^T \cdot\frac{(\frac{\mathbf{x_2}}{\sigma})^i}{\sqrt{i!}}\exp(-\frac{||\mathbf{x_2}||^2}{2\sigma^2})\\=\phi^T(\mathbf{x_1})\cdot \phi(\mathbf{x_2}) ϕ(x1),ϕ(x2)=Σi=0i!(σ2x1Tx2)iexp(2σ2x12)exp(2σ2x22)=Σi=0i! (σx1T)iexp(2σ2x12)i! (σx2)iexp(2σ2x22)=Σi=0(i! (σ2x1)iexp(2σx12))Ti! (σx2)iexp(2σ2x22)=ϕT(x1)ϕ(x2)

由此可见
ϕ i ( x ) = ( x i i ! σ i ) exp ⁡ ( − ∣ ∣ x ∣ ∣ 2 2 σ 2 ) \phi_i(\mathbf{x}) = (\frac{\mathbf{x^i}}{\sqrt{i!}\sigma^i})\exp(-\frac{||\mathbf{x}||^2}{2\sigma^2}) ϕi(x)=(i! σixi)exp(2σ2x2)
ϕ ( x ) = [ ϕ 0 ( x ) , . . . , ϕ i ( x ) , . . . , ϕ ∞ ( x ) ] \phi(\mathbf{x}) = [\phi_0(\mathbf{x}) , ...,\phi_i(\mathbf{x}) , ..., \phi_{\infty}(\mathbf{x}) ] ϕ(x)=[ϕ0(x),...,ϕi(x),...,ϕ(x)]
可以看出, ϕ ( x ) \phi(\mathbf{x}) ϕ(x) 是无穷维的,因此一定可以将所有train set里的点线性可分。

  • 0
    点赞
  • 0
    评论
  • 5
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 1024 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值