【Practical】线性空间

最新推荐文章于 2024-11-26 14:54:53 发布

Anova.YJ

最新推荐文章于 2024-11-26 14:54:53 发布

阅读量5.5k

点赞数 1

分类专栏：数值分析

本文链接：https://blog.csdn.net/weixin_44246009/article/details/114434086

版权

数值分析专栏收录该内容

45 篇文章

订阅专栏

文章目录

线性空间.
- 线性空间维度.
欧几里得空间.
酉空间.
度量空间.
内积空间.
赋范线性空间.
- 收敛点列.
- 一叨.
Hilbert空间.
完整过程.
- 内积诱导范数.
- - 关于 $||\vec x+\vec y||^2$ .
  - 柯西不等式.
参考资料.

线性空间.

英文名词为 Vector Space，因此其更准确的名称是向量空间。
向量空间形式化定义如下，关于其中的陌生名词会以Digression的形式简单解释。
设 $V$ 为非空集合， $P$ 为域，在 $V$ 中定义运算"向量加法" $V + V \to V$ ：对 $a, b \in V$ 按照确定法则唯一对应于 $V$ 中的元素 $a + b$ ；在 $P, V$ 的元素间定义运算"标量乘法" $P \times V \to V$ ：对 $a \in V, k \in P$ 按照确定法则唯一对应于 $V$ 中的元素 $k a$ ，定义的两种运算需要满足下面八大条件。
$a + b = b + a$
$a + (b + c) = (a + b) + c$
存在一个元素 $0 \in V$ 使得 $a + 0 = a$ ，称 $0$ 为 $V$ 的零元。
对于任意的 $a \in V$ ，都存在 $b$ 使得 $a + b = 0$ ，称 $b$ 为 $a$ 的逆元素，记为 $- a$ .
$P$ 中有单位元 $1$ 使得 $1 a = a$
对于 $k, l \in P$ 有 $k (l a) = (k l) a$
对于 $k, l \in P$ 有 $(k + l) a = k a + l a$
对于 $k \in P; a, b \in V$ 有 $k (a + b) = k a + k b$
满足以上八大条件，则称 $V$ 为域 $P$ 上的一个线性空间，或向量空间。 $V$ 中元素称为向量， $V$ 的零元称为零向量， $P$ 称为线性空间的基域。当 $P$ 是实数域时， $V$ 称为实线性空间；当 $P$ 是复数域时， $V$ 称为复线性空间。

【Digression-域】域是一种特殊代数系统，对于代数系统 $< F, +, \cdot >$ 而言，其中 $< F, + >$ 是阿贝尔群， $F-{0},·>$ 是阿贝尔群，并且乘法 $\cdot$ 对加法 $+$ 可分配，那么 $< F, +, \cdot >$ 就称为域。对于有理数集 $Q$ ，实数集 $R$ 和复数集 $C$ 而言， $< Q, +, \cdot >, < R, +, \cdot >, < C, +, \cdot >$ 都是域。平时所说的实数域、复数域就是指这些集合以及定义在集合上的运算。关于代数系统以及半群、群、环以及域，有机会会在【离散数学】中介绍。本篇中，完全可以使用实数、复数与加减乘除等概念来理解这里出现的域。

线性空间维度.

设 $X$ 为线性空间，如果 $X$ 有 $n$ 个线性无关的元素，但任意 $n + 1$ 个元素都线性相关，则称 $X$ 为有限维空间，称 $n$ 为 $X$ 的维数，记 $d i m (X) = n$ .
【性质】设 $X$ 为线性空间， $d i m (X) = n$ ， ${x_1,x_2,...,x_n\}$ 线性无关。则 $X$ 中的任意元素 $x$ 都可以唯一地表示为 $x=\sum^n_{i=1}a_ix_i$ 的线性组合.

【Digression-线性无关】如果 $V$ 是一个线性空间，如果存在不全为零的系数 $a_i∈P,i=1,2,...,n$ ，使得 $\sum^n_{i=1}a_ix_i=0$ ，那么其中有限多个向量 ${x_1,x_2,...,x_n\}$ 称为线性相关的。反之，称这组向量为线性无关的。

欧几里得空间.

【图源】
实数域上的线性空间+内积=欧几里得空间，可以看出欧氏空间是特殊的线性空间，其中内积满足对称性、正定性与线性性质。
欧几里得空间中以 $|\vec x|=\sqrt{(\vec x,\vec x)}=\sqrt{\sum^n_{i=1}x_i^2}$ 来度量 $n$ 维向量 $\vec x$ 的长度，据此还可以定义两个向量 $\vec x,\vec y$ 之间的距离 $|\vec x-\vec y|=\sqrt{(\vec x-\vec y,\vec x-\vec y)}=\sqrt{\sum^n_{i=1}(x_i-y_i)^2}=d(\vec x,\vec y)$ .

酉空间.

前部分的欧氏空间是实数域上的特殊线性空间(引入内积)，将基域 $P$ 推广到复数域 $C$ 得到酉空间。【图源】
酉空间中以 $||\vec x||=\sqrt{(\vec x,\vec x)}$ 来度量向量 $\vec x$ 的长度，类似地也可以定义距离 $d(\vec x,\vec y)=||\vec x-\vec y||$ .
酉空间和欧几里得空间一个显著不同在于，欧几里得空间中可以定义两向量间夹角 $<\vec a,\vec b>$ 的余弦值为 $cos<\vec a,\vec b>=\frac{(\vec a,\vec b)}{|\vec a||\vec b|}$ ，而酉空间中向量内积不一定为实数，所以无法定义。

在早期的著作中，内积空间被称作酉空间，但这个词已经被淘汰了。

度量空间.

顾名思义，度量空间中任意元素之间的距离是可定义的。【图源】
例如上面定义的欧几里得空间就是一种度量空间，从不同的角度对待这些集合，关注它的不同性质，往往会反映在不同的名称上。

内积空间.

前面我们看到，实数域上的线性空间引入内积概念后得到欧几里得空间，推广到复数域后得到酉空间。可以总结出内积空间是添加了一定结构的线性空间，这个结构就是【内积】，内积的作用是将一对向量和一个标量联系起来，能够形式化的讨论向量的长度和夹角，进一步讨论正交性。
内积空间的定义就是前面给出的酉空间定义，但后者已经淘汰。
实向量空间 $R^n$ 上一个向量内积 $(\vec x,\vec y)=\sum^n_{i=1}x_iy_i$ ，复向量空间 $C^n$ 上一个向量内积 $(\vec z,\vec p)=\sum^n_{i=1}z_i\overline{p_i}$ .

赋范线性空间.

线性空间+范数=赋范线性空间
设 $E$ 是域 $K$ 上的线性空间，定义实值函数 $∣ ∣ ● ∣ ∣$ ，若它满足：
【正定性】 $∀\vec x∈E,||\vec x||≥0$ 且 $||\vec x||=0⇔\vec x=\vec 0;$
【正齐性】 $∀\vec x∈E,∀\alpha∈K,||\alpha\vec x||=|\alpha|||\vec x||;$
【三角不等式】 $∀\vec x,\vec y∈E,||\vec x+\vec y||≤||\vec x||+||\vec y||;$
则称 $∣ ∣ ● ∣ ∣$ 是 $E$ 上的一个范数，并称 $E$ 为赋范线性空间。

收敛点列.

【Digression-点列】Range of Points，也没啥好解释的吧，很多点的排列集合，类比数列。

设点列 ${x_n\}⊂E，x∈E$ ，若 $x_n-x||→0$ ，则称点列 ${x_n\}$ 收敛于 $x$ ，记作 $lim~x_n=x$ .
【柯西序列】设 ${x_n\}⊂E$ ，若 $n \to \infty$ 时 $p∈Z^+$ 都有 $x_{n+p}-x_n||→0$ ，那么点列 ${x_n\}$ 称为柯西序列或基本列。
另一种定义：设 $(E, d)$ 是度量空间， $x_n$ 是 $E$ 中点列，若对于任意的正数 $\epsilon$ ，都存在自然数 $N$ 使得 $x, y \geq N$ 时 $d(x_x-d_y)<\epsilon$ 成立，则称点列 ${x_n\}$ 称为柯西序列。

一叨.

对比收敛点列和柯西序列的定义发现，收敛点列一定是柯西序列，但柯西序列不一定在 $E$ 上是收敛的，存在着柯西序列极限不属于域 $E$ 的情况，此时该柯西序列不收敛，对应着赋范线性空间 $E$ 不完备。
例如实数域线性空间中一个点列 ${3,3.1,3.14,3.14159,3.1415926535897932,...\}$ 是柯西序列同时也是一个收敛点列，因为其极限 $\pi∈R$ ，但如果在有理数线性空间中考虑它，由于其极限并不属于有理数，所以该柯西序列在有理数空间中不收敛。
完备的赋范线性空间也称为Banach空间，实数域线性空间是完备的，有理数不完备。

Hilbert空间.

在接触支持向量机中的核函数时曾经去了解过希尔伯特空间，但当时看得云里雾里。
从我们第一部分给出的线性空间开始，引入内积得到内积空间，引入范数得到赋范空间，线性空间就像亚古兽一样，遇到八神太一会进化为战斗暴龙兽，遇到大门大会进化为闪光暴龙兽，而后完备的赋范空间称为Banach空间，这时闪光暴龙兽学习到了充入数码之魂后的爆裂形态。
内积空间，也就是战斗暴龙兽那一脉此时战斗力稍有不足，于是自省发现用于表示向量长度的 $||\vec x||=\sqrt{(\vec x,\vec x)}$ 来度量向量 $\vec x$ 也满足范数的定义，于是内积空间在范数完备的情况下进化为Hilbert空间，战斗暴龙兽进化为了皇家骑士奥米加兽，写到这儿突然燃起来了，此处该有BGM.
比较希尔伯特空间和巴拿赫空间的定义发现，希尔伯特空间一定是巴拿赫空间，但巴拿赫空间却不一定是希尔伯特空间，正好对应了奥米加兽比爆裂闪暴小强一点的设定。

【Digression-核函数与希尔伯特空间】假设 $K(\vec x,\vec z)$ 是定义在 $X \times X$ 上的对称函数，并且对于 $x_1,x_2,...,x_m∈X$ ， $K(\vec x,\vec z)$ 的 $G r a m$ 矩阵是半正定矩阵。可以依据函数 $K(\vec x,\vec z)$ 构成一个希尔伯特空间。由于该函数 $K(\vec x,\vec z)$ 具有再生性，称为再生核，该空间也称为再生核希尔伯特空间。有机会的话，会对《支持向量机》进行补充，讲述关于线性不可分情况下使用核函数支持向量机部分。

完整过程.

线性空间+内积=内积空间
线性空间+范数=赋范空间
线性空间+范数+完备=巴拿赫空间
线性空间+内积+完备=希尔伯特空间

内积诱导范数.

在内积空间 $(X, (●, ●))$ 中，定义 $||\vec x||=\sqrt{(\vec x,\vec x)}$ ，也就是前面所说的向量长度，它是一个满足范数定义的实值函数，称为内积诱导出的范数。
【证明】正定性与正齐性从内积性质可以推出，三角不等式证明如下。
$||\vec x+\vec y||^2=||\vec x||^2+||y^2||+2Re(\vec x,\vec y)≤||\vec x||^2+||y^2||+2|(\vec x,\vec y)|$ .

【Digression of Cauchy-Schwarz Inequality】
$|(\vec x,\vec y)|≤||\vec x||·||\vec y||$

因此 $||\vec x+\vec y||^2≤||\vec x||^2+||y^2||+2|(\vec x,\vec y)|≤||\vec x||^2+||y^2||+2||\vec x||·||\vec y||=(||\vec x||+||\vec y||)^2$ .
由于范数非负，开平方后得到三角不等式 $||\vec x+\vec y||≤||\vec x||+||\vec y||$ .

【Digression-复数模】考虑复数 $z = a + b i$ ，那么 $|z|=\sqrt{a^2+b^2}$ . 另外 $|z|^2=z\overline{z}$ .

关于 $||\vec x+\vec y||^2$ .

上部分证明内积诱导范数满足三角不等式时使用了等式 $||\vec x+\vec y||^2=||\vec x||^2+||\vec y||^2+2Re(\vec x,\vec y)$ .
【证明】设 $\vec x=a+bi,\vec y=c+di$ ，那么 $a+c)+(b+d)i||^2=(a+c)^2+(b+d)^2=a^2+b^2+c^2+d^2+2ac+2bd$ ，由于 $||\vec x||^2=a^2+b^2;||\vec y||^2=c^2+d^2;(\vec x,\vec y)=(ac+bd)+(bc-ad)i$ ，所以 $2Re(\vec x,\vec y)=2ac+2bd$ ，至此等式得证。
由该等式可以很容易证明内积诱导范数的平行四边形公式： $||\vec x+\vec y||^2+||\vec x-\vec y||^2=2(||\vec x||^2+||\vec y||^2)$

柯西不等式.

【范数形式】 $|(\vec x,\vec y)|≤||\vec x||·||\vec y||$
【内积形式】 $|(\vec x,\vec y)|^2≤(\vec x,\vec x)·(\vec y,\vec y)$
【证明】 $0≤(\vec x-a\vec y,\vec x-a\vec y)=||\vec x||^2+|a|^2||\vec y||^2-\overline a(\vec x,\vec y)-a(\vec y,\vec x)$ ，取 $a=\frac{(\vec x,\vec y)}{||\vec y||^2}$ ，得到 $||\vec x||^2-\frac{|(\vec x,\vec y)|^2}{||\vec y||^2}≥0$ ，即 $|(\vec x,\vec y)|^2≤||\vec x||^2·||\vec y||^2=(\vec x,\vec x)·(\vec y,\vec y)$ ，两边开平方即 $|(\vec x,\vec y)|≤||\vec x||·||\vec y||$ .