机器学习的数学基础（1）：线性空间的相关概念与性质

本系列为我硕士课程《机器学习数学原理》的课堂笔记总结，在本学期学习的过程中，网络中各前辈的博客以及文章对我的学习产生了许多积极的帮助，所以我也希望在结课之际，一来自己编辑博文总结笔记，二来为后续学习相关知识的同学提供一些参考，也算是一件有诸多意义的事情。

线性空间

定义：

假如一个空间  中定义了加法与乘法并且满足如下的多条性质：

加法：

（1）   （加法交换律）

（2）    (加法结合律)

（3）在空间中存在唯一零元素且

（4）

乘法：

（5）

（6）

（7）

（8）

数乘以及向量加的封闭性：

（9）

 注意对于一个空间来说，加法与乘法是我们人为定义的，因此很多情况下我们判定一个空间为向量空间时，因为我们所继承的加法与乘法的定义已经满足了前八条性质，因此无需再做判断。例如空间，该空间在定义时已经继承了向量的加法与数乘的定义，因此证明其为线性空间时，只需证明其封闭性即可。

线性子空间

定义：

为的子空间，且满足，则为S的线性子空间。

其实从这个定义我们也很好理解，首先子空间一定继承了S的加法与数乘定义，并且若此时子空间满足了封闭性，那我们则可以判定该子空间为线性子空间。同样我们有线性空间本身也是自己的线性子空间的说法

线性组合与张成（span）

我们在线性空间S中取一组向量V

一组向量V中向量的线性组合可以表示为：

则我们定义这组向量所张成的空间记作

显然Span(V)是S的一个子空间无论V中所包含的元素是什么。

线性无关

线性相关的定义：

当一组向量V满足存在一组不全为0的标量，使得    ，则我们称该向量组线性相关，反之，则线性无关。

基底

定义：

线性空间S的子空间的基底为空间中一组向量V且满足如下条件：

1. 

2. 是线性无关的

则此时基底中元素的个数则称之为空间的维数