The Representer Theorem, 表示定理.

Kernel Methods (6) The Representer Theorem

The Representer Theorem, 表示定理.
给定:

• 非空样本空间:  χ χ
• m m个样本: {(x1,y1),…,(xm,ym)},xiinχ,yi∈R {(x1,y1),…,(xm,ym)},xiinχ,yi∈R
• 非负的损失函数:  J:(χ×R2)m→R+ J:(χ×R2)m→R+. 这个符号表示初看挺别扭的, 从wikipedia上抄来的. 含义是 J J有 m×3 m×3个参数, 3代表: 样本 xi xi (一个 χ χ)+ 它的目标值 yi yi(一个 R R) + 估计值  f(xi) f(xi) (另一个 R R)
• 一个正半定kernel function :  κ:χ2→R κ:χ2→R
• κ κ对应的再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)  H H
• 一个递增函数 g g
  优化问题:
  
  argminhJ=argminhJ(x1,y1,h(x1),…,xm,ym,g(||h||2)) argminhJ=argminhJ(x1,y1,h(x1),…,xm,ym,g(||h||2))
  
  如果 h∗∈H h∗∈H是一个最优解, h∗ h∗必具有以下形式:
  
  h∗=∑i=1mαiκ(xi,⋅) h∗=∑i=1mαiκ(xi,⋅)

可能是理解不够吧, 感觉也就那样:

• SVM要去掉bias才符合.(将 x x增广可将 b b并入 w w处理)
• 只说明形式, 对得到 α α的值并没有帮助.

所以证明就不管了, 知道有这么回事就行了. 以后若需要深入了解, 可以参考pdf