统计学习精要(The Elements of Statistical Learning)课堂笔记（二十二）：核函数和核方法

补上笔记。这节课讲的就是大名鼎鼎的Kernel Method...

核函数（正定）

定义 K(x,y)

, x,y∈R

满足：

1) 对称： K(x,y)=K(y,x)

2) 正定： n个观测 x1,x2,...,xn∈Rp

， Kn=⎡⎣⎢⎢K(x1,x1)⋮K(xn,x1)⋯⋱⋯K(x1,xn)⋮K(xn,xn)⎤⎦⎥⎥

正定（或者非负定）。

K(x,y)

举例：

• 常数—— K(x,y)=C⇒∑j∑jcuiuj=c∥ui∥

• 
  
• 内积—— K(x,y)=∑xiyi ，或广义下 K(x,y)=(Φ(x),Φ(y)) ，其中 Φ(x):x→X ，从 Rp→Rq
  • 。

  性质：

  1. 封闭性

  1) K(x,y)

  正定， α>0 ，则 αK(x,y)

  正定。

  2) K1(x,y)

  正定， K2(x,y) 正定，则 K1(x,y)+K2(x,y) 正定， K1(x,y)⋅K2(x,y)

  正定。

  3) {K(x,y)}

  正定， Kn(x,y)→K(x,y) ，则 K(x,y)

  正定。

  4) (1+(x,y))k

  正定

  5) exp(−∥x−y∥2σ2)

  正定。

  2. 归一性

  K¯(x,y)=K(x,y)k(x,x)√k(y,y)√

  正定， ⇒K¯(x,x)=1

  。

  再生核Hilbert空间（RKHS)

  （走神一下：关于这个命名的吐槽猛击 -> 翻译版、 英文原版Normal Deviate）

  1. Hilbert空间：完备内积空间，可以视作欧氏空间的推广。 H={x,y,z,...}

  。

  在这个空间中，我们定义：

  • 加法：x+y
  • 数乘： αx
  , α∈R
• 。
• 内积 (x,y) ：对称性 (x,y)=(y,x) ;线性 (x1+x2,y)=(x1,y)+(x2,y) ， α(x,y)=(αx,y)
• .
• 零元素：若 (x,x)=0 ，则 x=ϕ
• 定义为零元素。
• 完备性：如果 xn→x 且 xn∈H ，则 x∈H
  • 。（收敛到该空间内）。

  2. 再生核Hilbert空间

  给定 K(x,y)

  正定，可以构造Hilbert空间H使得 K(⋅,y)∈H ， (K(⋅,y),K(⋅,z))=K(y,z) ；且构造一个 Φ(x):Rp→H ，使得 K(x,y)=(Φ(x),Φ(y))

  ，即核函数可以写成内积形式。

  这样对于 ∀f∈H

  ， (f,K(⋅,x))=f(x)

  。

  核方法

  1. 基本思想

  将线性模型推广到非线性模型的方法（其中较为简单的一种）

  xΦ(x)−→−−X~=Φ(x)

  ，从 Rp 到 Rq(H) 的一个映射。举例： Φ(x)=(x,x2)

  ，这样就可以拓展为广义线性模型。

  2. SVM

  min12∥w∥2+C∑iξi

  s.t.yi(wi+b)≥1−ξi,∀i

  可以转化为：

  min−g(λ,μ)=12∑i∑j(λiyi)(λjyj)(x′ixj)−∑iλi

  s.t.∑iλiyi=0

  0≤λi≤C

  μi≥0

  令 w=∑λixiyi

  ， b=yi−w′xi ，则 f(x)=sign(∑λiyi(x′xi)+b)

  非线性变换之后，

  min12∥w∥2+C∑iξi

  s.t.yi(wi+b)≥1−ξi,∀i

  注意此时 w

  的维数有变化（ p→q

  ）。

  ---------------------

  如果各位更关心SVM后面的直觉，还是去看看Andrew Ng的相关课程吧...这里推导太多，直觉反而丢了一些