再生核希尔伯特空间[RKHS]导论—第二部分
注:本博客翻译自此链接。
概要: 在本文中,我们继续学习关于再生核希尔伯特空间(RKHS)的内容。本教程的前一部分可以在这里找到。
关键字: RKHS; 向量空间
1 上节回顾
我们首先简要总结一下上一篇文章中介绍的各种空间。这个总结只是想给你一些关于这些不同空间的直观想法。有关更严格的定义和更多解释,请参考上一篇。
∙
\bullet
∙向量空间(Vector Space)-具有加法和数乘这两个特殊运算的集合。
∙
\bullet
∙赋范空间(Normed Vector Space)-定义了向量长度的向量空间。向量长度的概念也允许我们测量向量之间的距离。
∙
\bullet
∙度量空间(Metric Space)-定义内部两元素间距离的集合(不一定是向量空间)。赋范向量空间是度量空间,但度量空间并不一定是赋范向量空间。
∙
\bullet
∙巴拿赫空间(Banach Space)-完备的赋范向量空间。一个没有缺失元素的完整的空间,即所有定义于其上的Cauchy序列都有极限。
在引入赋范向量空间时,我们引入了向量空间中的一个重要结构:距离。现在,我们介绍向量空间上的另一种结构:内积。注意,内积不同于任何向量空间所具有的数乘。向量空间的数乘在标量和向量上操作,产生向量作为输出。相反,内积作用于两个向量,给出一个标量作为输出。当在一个向量空间上定义了内积后,它就成为一个内积空间。现在我们开始形式化的定义。
2 内积空间(Inner Product Space)
在引入赋范向量空间时,我们引入了向量空间中的一个重要结构:距离。现在,我们介绍向量空间上的另一种结构:内积。注意,内积不同于任何向量空间所具有的数乘。向量空间的数乘在标量和向量上操作,产生向量作为输出。相反,内积作用于两个向量,给出一个标量作为输出。当在一个向量空间上定义了内积后,它就成为一个内积空间。现在我们开始形式化的定义。
一个内积空间 ( ν , ⟨ ⋅ , ⋅ ⟩ ) (\nu,\lang \cdot,\cdot \rang) (ν,⟨⋅,⋅⟩)是一个在域 F \mathbb{F} F上被赋予内积 ⟨ ⋅ , ⋅ ⟩ \lang \cdot,\cdot \rang ⟨⋅,⋅⟩的向量空间 ν \nu ν。其中内积 ⟨ ⋅ , ⋅ ⟩ \lang \cdot,\cdot \rang ⟨⋅,⋅⟩是指对于任意 x , y , z ∈ ν \textbf{x},\textbf{y},\textbf{z}\in\nu x,y,z∈ν, a ∈ F a\in \mathbb{F} a∈F满足下述3个公理的 ν × ν → F \nu \times \nu \rightarrow \mathbb{F} ν×ν→F映射。
1. 共轭对称性:
⟨
x
,
y
⟩
=
⟨
y
,
x
⟩
‾
\lang \textbf{x},\textbf{y} \rang=\overline{ \lang \textbf{y},\textbf{x} \rang}
⟨x,y⟩=⟨y,x⟩.
2. 第一个参数的线性性:
⟨
a
x
,
y
⟩
=
a
⟨
y
,
x
⟩
\lang a\textbf{x},\textbf{y} \rang=a \lang \textbf{y},\textbf{x} \rang
⟨ax,y⟩=a⟨y,x⟩ and
⟨
x
+
z
,
y
⟩
=
⟨
x
,
y
⟩
+
⟨
z
,
y
⟩
\lang \textbf{x}+\textbf{z},\textbf{y} \rang=\lang \textbf{x},\textbf{y} \rang+\lang \textbf{z},\textbf{y} \rang
⟨x+z,y⟩=⟨x,y⟩+⟨z,y⟩.
3. 正定性:
⟨
x
,
x
⟩
⩾
0
\lang \textbf{x},\textbf{x} \rang \geqslant0
⟨x,x⟩⩾0当且仅当
x
=
0
\textbf{x}=0
x=0时取等号.
域 F \mathbb{F} F要么是实数集 R \mathbb{R} R,要么是复数集 C \mathbb{C} C,当域 F \mathbb{F} F是实数集 R \mathbb{R} R时,公理1的共轭对称性就变成对称性,因为实数的共轭就是它本身。
练习1: n \textbf{练习1:}n 练习1:n维实数空间(欧式空间) R n \mathbb{R^{n}} Rn中的点积(dot product)运算定义为: x ⋅ y = ∑ i = 1 n x i y i \textbf{x} \cdot \textbf{y}=\sum_{i=1} ^{n}x_{i}y _{i} x⋅y=∑i=1nxiyi,其中 x i , y i , i = 1 , 2 , . . . x_{i},y_{i},i=1,2,... xi,yi,i=1,2,...分别是向量 x , y \textbf{x},\textbf{y} x,y中的元素。证明带有点积运算的 n n n维实数空间(欧式空间) R n \mathbb{R^{n}} Rn是一个内积空间。
练习2:
\textbf{练习2:}
练习2:令
F
\mathscr{F}
F是实值平方可积函数的集合,即
F
=
{
f
∣
f
:
R
→
R
,
∫
−
∞
∞
∣
f
(
x
)
∣
2
d
x
<
∞
}
.
\mathscr{F} =\{f|f: \mathbb{R} \rightarrow \mathbb{R},\int_{-\infty}^{\infty} \lvert f(x) \rvert^2dx<\infty\}.
F={f∣f:R→R,∫−∞∞∣f(x)∣2dx<∞}.
已知
F
\mathscr{F}
F在实数域
R
\mathbb{R}
R上通过加法和数乘两种运算形成无穷维向量空间,证明
F
\mathscr{F}
F也是一个内积空间,其中内积
⟨
⋅
,
⋅
⟩
\lang \cdot,\cdot \rang
⟨⋅,⋅⟩定义为满足以下关系的
F
×
F
→
R
\mathscr{F} \times \mathscr{F} \rightarrow \mathbb{R}
F×F→R映射:
∀
f
,
g
∈
F
,
⟨
f
,
g
⟩
=
∫
−
∞
∞
f
(
x
)
g
(
x
)
d
x
<
∞
.
\forall f,g \in \mathscr{F},\qquad \lang f,g \rang=\int_{-\infty}^{\infty} f(x)g(x)dx<\infty.
∀f,g∈F,⟨f,g⟩=∫−∞∞f(x)g(x)dx<∞.
注意,在上面的练习2中,向量空间 F \mathscr{F} F中的向量(点)实际上是函数。为了帮助将函数理解为向量,可以假设向量空间 F \mathscr{F} F中所有函数在 n n n个不动点 x 1 , x 2 , . . . x n x_1,x_2,...x_n x1,x2,...xn处被采样,并且这 n n n个不动点在函数域中等间隔分布(练习2中的函数域就是直线)。之后,一个给定的函数 f f f就可以用 n n n维向量空间 R n \mathbb{R^{n}} Rn中的 n n n维向量 [ f ( x 1 ) f ( x 2 ) . . . f ( x n ) ] [f(x_1) \ \ f(x_2) \ \ ... \ \ f(x_n)] [f(x1) f(x2) ... f(xn)]来表示,当 n → ∞ n \rightarrow \infty n→∞时,这些函数构成了一个无穷维向量空间。
现在鼓励读者尝试下面的简单练习。
练习3: \textbf{练习3:} 练习3:假设 ( ν , ⟨ ⋅ , ⋅ ⟩ ν ) (\nu,\lang \cdot,\cdot\rang_{\nu}) (ν,⟨⋅,⋅⟩ν)是一个内积空间,从内积空间和赋范向量空间的定义出发证明 ( ν , ∥ ⋅ ∥ ν ) (\nu,\lVert \cdot \rVert_{\nu}) (ν,∥⋅∥ν)是一个赋范向量空间,其中 ∀ x ∈ ν , ∥ x ∥ ν = ⟨ x , x ⟩ ν . \forall \textbf{x} \in \nu,\lVert \textbf{x} \rVert_{\nu}=\sqrt{\lang \textbf{x},\textbf{x} \rang_{\nu}}. ∀x∈ν,∥x∥ν=⟨x,x⟩ν.
从上面的练习可以看出,当向量空间上具有内积结构时,我们还可以在内积的帮助下定义向量空间上的范数。我们把这个范数称作 l 2 l^2 l2范数( l 2 n o r m l^2 \ norm l2 norm),它的定义是: ∥ x ∥ = ⟨ x , x ⟩ \lVert \textbf{x} \rVert=\sqrt{\lang \textbf{x},\textbf{x} \rang} ∥x∥=⟨x,x⟩,其中 x \textbf{x} x是以 ⟨ ⋅ , ⋅ ⟩ \lang \cdot,\cdot\rang ⟨⋅,⋅⟩为内积的内积空间中的向量。举个例子,当内积空间是以点积为内积的 n n n维实数空间 R n \mathbb{R^{n}} Rn时,对于 ∀ x ∈ R n , ∥ x ∥ = ⟨ x , x ⟩ = ∑ i = 1 n x i 2 . \forall \textbf{x} \in \mathbb{R^{n}},\lVert \textbf{x} \rVert=\sqrt{\lang \textbf{x},\textbf{x} \rang}=\sum_{i=1} ^{n}x_{i}^2. ∀x∈Rn,∥x∥=⟨x,x⟩=∑i=1nxi2.
虽然内积可以导出范数,但并不是每个范数都由内积导出。例如,定义在 R n \mathbb{R^{n}} Rn上的 l 1 l^1 l1范数: ∥ x ∥ 1 = ∑ i = 1 n ∣ x i ∣ \lVert \textbf{x} \rVert_1=\sum_{i=1}^{n} \lvert x_{i} \lvert ∥x∥1=∑i=1n∣xi∣ 就不是由内积导出的。
内积空间也称为准希尔伯特空间,意思是它还差一步就能成为希尔伯特空间,下面我们将介绍希尔伯特空间。
3 希尔伯特空间(Hilbert Space)
如上所述,内积空间具有由其内积推导得到的范数。然而,关于(with respect ro)此范数的通用内积空间可能不是完备的(关于空间的完备性,请参考上一篇)。当这个条件满足,即某个内积空间关于(with respect ro)由其内积导出的范数具备完备性时,它就是希尔伯特空间,希尔伯特空间的一个例子是以点积作为内积的 n n n维实数空间 R n \mathbb{R^{n}} Rn。
显然,具有典范范数(canonical norm,由内积导出的范数)的希尔伯特空间也是巴拿赫空间(Banach Space)。虽然希尔伯特空间不一定是无限维的,但术语“希尔伯特空间”通常指无限维空间,如函数空间(a space of functions)。无穷维希尔伯特空间的一个例子是练习2中引入的平方可积函数空间,它被称为 L 2 L^2 L2空间。
4 再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)
现在,我们终于触及到到本教程最重要的主题:再生核希尔伯特空间。首先,我们来定义一些需要用到的术语。这些定义非常简单且易于理解,因此我们直接在下面简要地介绍,而不另深入讨论。
线性算子(Linear operator): \textbf{线性算子(Linear operator):} 线性算子(Linear operator):也叫线性映射(Linear map),设定义在域 F \mathbb{F} F上的映射 f : ν → ω f:\nu \rightarrow \omega f:ν→ω 是从向量空间 ν \nu ν到向量空间 ω \omega ω的函数,若 ∀ x , y ∈ ν , a ∈ F \forall \textbf{x}, \textbf{y} \in \nu,a \in \mathbb{F} ∀x,y∈ν,a∈F,有以下两条性质成立,则称 f f f为线性算子。
1.
f
(
u
+
v
)
=
f
(
u
)
+
f
(
v
)
f(\textbf{u}+\textbf{v})=f(\textbf{u})+f(\textbf{v})
f(u+v)=f(u)+f(v).
2.
f
(
a
u
)
=
a
f
(
u
)
f(a\textbf{u})=af(\textbf{u})
f(au)=af(u).
有界线性算子(Bounded linear operator): \textbf{有界线性算子(Bounded linear operator):} 有界线性算子(Bounded linear operator):设映射 f : ν → ω f:\nu \rightarrow \omega f:ν→ω 是从赋范向量空间 ( ν , ∥ ⋅ ∥ ν ) (\nu,\lVert \cdot \rVert_{\nu}) (ν,∥⋅∥ν)到赋范向量空间 ( ω , ∥ ⋅ ∥ ω ) (\omega,\lVert \cdot \rVert_{\omega}) (ω,∥⋅∥ω)的线性算子,若以下性质成立,则称 f f f为有界线性算子。
∃ M > 0 , s . t . , ∀ u ∈ ν , ∥ f ( u ) ∥ ω ⩽ M ∥ u ∥ ν \exist M>0,s.t., \forall \textbf{u} \in \nu, \lVert f(\textbf{u})\rVert_{\omega} \leqslant M\lVert \textbf{u} \rVert_{\nu} ∃M>0,s.t.,∀u∈ν,∥f(u)∥ω⩽M∥u∥ν.
下一篇文章将专门讨论再生核希尔伯特空间(RKHS)及其属性。