机器学习必须要搞懂的一些基础数学概念,我一边学习,一遍在这里做笔记记录。
什么是数学的空间:
- 研究工作的对象和遵循的规则
- 元素和结构(线性结构:加法和数乘; 拓扑结构:距离,范数,开集)
- 是很多工程学甚至社会科学的语言。
关于上面这段,我理解数学空间,就像你手机里装的游戏:连连看,斗地主,俄罗斯方块。那么每一个游戏里(空间里),都有不同的元素和结构,有不同的游戏规则。
此次是上海交大《数学之旅》学习笔记。感兴趣的同学可以去看视频,非常推荐。
一,距离和范数
在微积分里可以定义极限和联系,依赖于**“距离”**
稍后补充
二、线性结构
下面我来说说线性空间
- 有了上面我们讲的距离后,和我们现实的空间比较,还有什么结构也是十分重要的呢?
- 维数是我们关心的!
- 维数的本质是什么?
我们先看二维空间:
- 二维空间的点可以看做一个二元实数组(x, y)
- 可以定义两个二元实数组的加法:
(
x
1
,
y
1
)
+
(
x
2
,
y
2
)
=
(
x
1
+
x
2
,
y
1
+
y
2
)
(x_{1}, y_{1})+(x_{2}, y_{2})=(x_{1}+ x_{2} , y_{1}+y_{2})
(x1,y1)+(x2,y2)=(x1+x2,y1+y2)
可以定义二元实数组与实数的乘法: k ( x , y ) = ( k x , k y ) k(x,y)=(kx, ky) k(x,y)=(kx,ky)
二维:
- 把二元实数组看成一个向量 (元素)
- 向量的加法和数乘有了很好的集合解释(结构)
- 向量的加法和数乘适合一些运算律(规则)
三维:
- 我们可以定义三维,甚至n维的向量的加法和数乘(我们称之为线性运算)
为什么我们需要多维(超出三维)向量呢? - 有了三维的概念,如果我们要描述一个点在三维空间的运动,除了需要知道位置以外,还需要知道在三个维度上的速度,也就是三个分量上的速度。这样就形成了6维结构。
想想以往学习的内容,我进行进一步的抽象。
- 我们在《线性代数》中对n维向量,对矩阵定义了加法和数乘,他们满足一定的运算律;
- 我们在《高等数学》中,函数也有加法和数乘;
- 这些对象的加法和数乘可否由统一的框架描述呢?
- 我们可以不考虑“对象”是什么, 仅考虑运算的规律。
先看n维向量, 向量的加法,数乘满足:(加法的交换律,结合律,零元,负元,数乘的交换律。单位元,数乘与加法的分配率。)
则,称其为 n维向量空间了,记为
R
n
R^{n}
Rn
然后我们再进行抽象。
定义: 设X是一个集合,K是实数域,定义X上任意两个元素的加法运算,和实数和任意一个元素的数乘运算,如果这两个运算封闭,并且满足:
- 加法的交换律和结合律,零元,负元;
- 数乘的交换律,单位元;
- 数乘与加法的分配率。
则称X是K上的线性空间。
再看几个例子:
- X可以是n维向量的集合,加法为向量加法,数乘为乘以实数,构成n为线性空间。
- X也可以是区间 [ a , b ] [a,b] [a,b]上所有函数的集合,加法为通常多项式的加法,数乘为乘以实数,构成(无穷维)线性空间。
- X还可以为实数集合,对X中任意两实数x, y 和K中实数a, 定义以下运算,构成线性空间? 运算定义: x ⊕ y = x y , a ⊗ x = x a x \oplus y = xy, a \otimes x = x^{a} x⊕y=xy,a⊗x=xa, 经过检验,满足八条运算规律(间线性空间定义)。我们就认为,构成线性空间。
由此可见,向量空间的概念是集合与运算二者的结合。一般来说,同一个集合,若定义两种不同的线性运算,就构成不同的向量空间;若定义的运算不是线性运算,就不能构成向量空间。所以,所定义的线性运算是向量空间的本质,而其中的元素是什么并不重要。由此可以说,把向量空间叫做线性空间更为合适。
基的本质是什么?
- n维向量有维数,有基。这对一般线性空间也是非常重要的,如何定义呢?
- 基的本质不是“坐标系”, 是可以“线性表出”空间中其他所有元素。
思考:基和坐标的关系是什么?
总结拓展一下:
赋予范数或者距离的集合分别称为:赋范空间和度量空间。
若在其上再加上线性结构,称为:线性赋范空间和线性度量空间。
三、空间种种
赋范空间
赋范空间有向量的模长,即范数。但是还缺乏一个很重要的概念 ---- 链各个向量的夹角。
为了克服这一缺陷,我们引入了内积空间。
内积空间的定义:
设
(
x
,
y
)
∈
R
(x , y) \in R
(x,y)∈R, 且满足:
- 对称性
- 对第一变元的线性性
- 正定性
则称 ( x , y ) (x , y) (x,y)为内积。
内积可导出范数
∥
x
∥
2
=
(
x
,
x
)
\parallel x \parallel^{2} = (x , x)
∥x∥2=(x,x), 在线性空间上定义内积,其空间成为内积空间。
内积可在空间中建立欧几里得几何学,例如:交角,垂直和投影等,故习惯上称其为欧几里得空间。
1904年~1910年希尔伯特引入无穷实数组并定义积,其空间称为内积空间,再加上完备性,称为希尔伯特空间(无穷维)
1922年巴拿赫提出赋范空间,其完备的赋范空间称为巴拿赫空间。
范数可以定义“强化”了距离。
内积是较距离和范数有更多的内含;
拓扑是“弱化”了距离。
拓扑
⊂
\subset
⊂ 距离
⊂
\subset
⊂ 范数
⊂
\subset
⊂ 内积
拓扑 | 距离 | 范数 | 内积 |
---|---|---|---|
拓扑空间 | 度量空间 | 赋范空间 | 内积空间(已有线性结构) |
拓扑线性空间 | 线性度量空间 | 线性赋范空间 | 内积空间 |
巴拿赫空间 | 希尔伯特空间 |
研究无穷维内积空间或者无穷维线性赋范空间中的映射的数学分支叫泛函分析, 又分线性泛函和非线性泛函分析。
研究拓扑空间的数学分支叫拓扑学,又分为点集拓扑,代数拓扑和微分拓扑。
以下是另一个博客转的。
<转>希尔伯特Hilbert空间的一些简单理解:
希尔伯特空间是欧几里德空间的一个推广,其不再局限于有限维的情形。与欧几里德空间相仿,希尔伯特空间也是一个内积空间,其上有距离和角的概念。
希尔伯特空间还是一个完备的空间,其上所有的柯西序列等价于收敛序列。
希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式,而这也是泛函分析的核心概念之一
Hilbert空间基底一般是函数,常见的是含有各种频率的平面波函数,一种频率对应一个基底 维度是无穷.这些基底即平面波函数是完备的(Hilbert空间中的任何元素都可以用平面波函数展开, 其实就是指傅里叶变换), 正交(平面波函数做"点积"为delta函数)
从数学的本质来看,最基本的集合有两类:线性空间(有线性结构的集合)、度量空间(有度量结构的集合)。
对线性空间而言,主要研究集合的描述,直观地说就是如何清楚地告诉地别人这个集合是什么样子。为了描述清楚,就引入了基(相当于三维空间中的坐标系)的概念,所以对于一个线性空间来说,只要知道其基即可,集合中的元素只要知道其在给定基下的坐标即可。
但线性空间中的元素没有“长度”(相当于三维空间中线段的长度),为了量化线性空间中的元素,所以又在线性空间引入特殊的“长度”,即范数。赋予了范数的线性空间即称为赋犯线性空间。
但赋范线性空间中两个元素之间没有角度的概念,为了解决该问题,所以在线性空间中又引入了内积的概念,即内积空间(欧几里得空间)
因为有度量,所以可以在度量空间、赋范线性空间以及内积空间中引入极限,但抽象空间中的极限与实数上的极限有一个很大的不同就是,极限点可能不在原来给定的集合中,所以又引入了完备的概念,完备的内积空间就称为Hilbert空间。
而Hilibert空间就是作为完备函数系来展开其他函数的
作者:fourierr
来源:CSDN
原文:https://blog.csdn.net/qq_34562093/article/details/78655641