≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（八）

平滑splines

有数据集 D={(xi,yi),1≤i≤N}

，然后定义目标函数 ∑Ni=1(yi−f(xi))2+λ∫baf′′(x)2dx

，记为(1)

式。然后我们有如下结论：使（1）最小化的解一定是分段三次多项式。

证明如下。

记 F

为函数族 a=x0<⋯<xn<xn+1=b 上的分段三次多项式（splines），且在首尾两段 [x0,x1] 和 [xn,xn+1] 上是一次多项式，那么他一定有 4(N−1)+2∗2−3N=N

的自由度。

若 f∈F

，则当 x∈[x0,x1],x∈[xn,xn+1] 时，有 f′′(x)=0

。

(2) 我们设 g(x)

也是(1)式的解，则下面证明一定能找到 f∗ 使得目标函数比 g(x) 小，则 f∗∈F

,

f∗(xi)=g(xi),∀1≤i≤N

.

(3)记 h(x)=g(x)−f∗(x)

，则 h(xi)=0,∀1≤i≤N

(4) 下面我们证明， h′′(x)⊥f∗′′

（两者内积为0），即 ∫bah′′(x)f∗(x)′′dx=0

。

∫bah′′(x)f∗(x)′′dx=∫baf∗(x)′′dh′(x)=f∗(x)′′h′(x)∣ba0−∫bah′(x)df∗(x)′′

且 −∫bah′(x)df∗(x)′′=−[∫x1a+∑N−1i=1∫xi+1xi+∫bXN]=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∫x1ah′(x)f∗(x)′′′dx∫bXNh′(x)f∗(x)′′′dx∫xi+1xih′(x)f∗(x)′′′constantdx≡0≡0=f∗(x)′′′∫xi+1xih′(x)dx0

所以得到 h′′(x)⊥f∗′′

。

(5)有了上述结论后，我们有 g(x)=f∗(x)+h(x)⇒g′′(x)=f∗(x)′′+h′′(x)

，然后有 ∥g′′(x)∥2=∥f∗(x)′′+h′′(x)∥2=∥f∗(x)′′∥2+∥h′′(x)∥2≥∥f∗(x)′′∥2

，所以对于所有的g，我们都有其二阶导数的范数小于f的二阶导数的范数，故在(1)式中代入g总比代入f大（或者相等）。这样我们就把一个无限维的最优化问题变为了有限维。

子波分析

1. 函数的平移与缩放

平移： fk(x)=f(x−k)

缩放： fd(x)=2df(2dx)

组合起来就是 fdk(x)=2df(2dx−k)

。由此，对于每个 d ，我们可以定义一个函数族 Fd:{fdk(x),k∈Z}

，写成矩阵形式就是

d⋯−2−1012⋮−2−1⋱k0f00(x)1f11(x)2⋱⋯Fd

2. Hoar函数

(1)定义： h(x)={010≤x≤1else

。

(2)Hoar函数的平滑与缩放。定义Hoar函数族为 Hd:{hdk(x),k∈Z}

,

∀d∈Z

。这样我们每个 Hd

为一组（胖瘦一样）。

定理1（正交）： Hd

是 L2(R) 平方可积函数的一个正交基，即对于任意的 k≠g ，有 <hdk(x),hdg(x)>=∫hdkhdgdx=0

。

定理2（增长）：随着d的增加， Hd

张成的闭子空间逐渐增大，且 Hd¯¯¯¯¯¯¯⊆Hd+r¯¯¯¯¯¯¯¯¯¯¯ 。这样，d比较小的函数一定能用d比较大的函数（正交基）来表示，比如 h00(x)=h10(x)+h11(x)/2

。直观的理解就是，d越大，分辨率越高。

定理3（完备）： Hd¯¯¯¯¯¯¯↑L2(R)

(3)定义 ωd

，使 ωd=Hd+1⊖Hd ，或者 Hd+1=ωd⊕Hd

。

(4)定义 w(x)=⎧⎩⎨⎪⎪1−100≤x≤1212≤x≤1else

，然后 wdk(x)=2dw(2dx−k),k,d∈Z

。

定理4：函数族 ωd:{wdk(x),k∈Z}

, ∀d∈Z ，则 ⊕dωd=L2(R) 亦为完备基，且 ωd⊥ωd? ，如果 d≠d′ 。也就是说， Hd+1¯¯¯¯¯¯¯¯¯¯¯ 和 Hd¯¯¯¯¯¯¯

之间的空间随着d的增加，彼此正交，且所有的叠起来之后亦为完备空间。

如此，我们称 w(x)

为子波（mother）而 h(x)

为father函数。注意，这里Hoar函数非连续。

在更一般的场合，我们寻找 f(x)

为father函数，然后定义 Fd:{fdk(x),k∈Z} ，满足 <fdk(x),fdg(x)>=0 （正交），且 Fd¯¯¯¯¯¯¯⊆Fd+r¯¯¯¯¯¯¯¯¯¯¯ （增长）， Fd¯¯¯¯¯¯¯↑L2(R)

（完备）。

再寻找mother函数 g(x)

满足 <gdk(x),gdg(x)>=0 （同层次内正交）、 Fd+1=Gd⊕Fd (相邻层次正交补）和 ⊕dGd=L2(R)

完备。

这样的 f(x)

和 g(x)

到底存不存在呢？实证结论是存在，而且很多，不过坏消息是他们的形式都不算简单。

spline和子波分析

spline和子波分析都提供了一组线性基底，其线性组合可以定义函数类。由此，我们可以定义广义线性模型的函数族，为统计学习模型的函数族做约束。