Mathematics for Machine Learning--学习笔记(向量空间)

1.4 Vector Spaces（向量空间）

  在之前我们已经了解了线性方程组并知道了怎么解他们。也知道线性方程组能够用矩阵形式表示，接下来我们主要要就向量所在的结构空间。
  在第一篇博客，我们简单介绍了什么是向量。接下来将它形式化，我们首先来介绍群

1.4.1 Groups（群）

  群在计算机中很重要。除了提供对集合的操作的基本框架外，在密码学、编码理论和图形学中也被大量使用。
  群的定义：我们设一个集合G，以及一个操作⊗，如果G满足一下几个特性，则（G，⊗）是一个群：

1. 封闭性： ∀x, y ∈ G : x ⊗ y ∈ G
2. 结合律： ∀x, y, z ∈ G : (x ⊗ y) ⊗ z = x ⊗ (y ⊗ z)
3. 单位元：∃e ∈ G ∀x ∈ G : x ⊗ e = x且 e ⊗ x = x
4. 逆元：∀x ∈ G ∃y ∈ G : x ⊗ y = e 且 y ⊗ x = e.
   逆元不是意味着x与1/x，而是根据⊗操作而确定的。比如说加法群中一个数的逆元一般就是他的相反数
   如果群满足交换律，则他也是一个阿贝尔群。

  让我们看一下（$R^{n\ast n},\cdot$）:定义了矩阵乘法的方阵的集合。

• 由矩阵乘法的定义可以得出来封闭性和结合律
• 在乘法运算中，单位矩阵$I_n$就是单位元
• 如果A是正则的，则$A^{-1}$是$A$的逆元。这种情况下（$R^{n\ast n},\cdot$）是一个群，叫做一般线性群。
    一般线性群定义：像上面这样的正则矩阵A ∈ $R^{n\ast n}$的，并且定义了矩阵乘法运算的集合，叫一般线性群。当然由于矩阵乘法是不可交换的，所以他不是一个阿贝尔群。

1.4.2 Vector Spaces（向量空间）

  在我们讨论群的时候，我们只讨论了集合G内部的操作。接下来我们不光讨论集合内部的操作（向量的加法），还有集合外部的操作（向量乘以标量）。
  向量空间的定义：一个实值向量空间V=$(V,+,\cdot )$是一个具有这两种操作的集合$V$。
$+:V\times V\to V$
$\cdot :R\times V\to V$
且他满足以下四个条件

1. $(V,+)$是一个阿贝尔群
2. 满足分配律：

• $\forall \lambda \in R,x,y\in V:\lambda \cdot (x+y)=\lambda \cdot x+\lambda \cdot y$
• $\forall \lambda ,\psi \in R,x\in V:(\lambda +\psi )\cdot x=\lambda \cdot x+\psi \cdot x$(这两个一个是标量乘向量格一个是标量和乘向量)

3. 结合律（具有外部操作的）： $\forall \lambda ,\psi \in R,x\in V:\lambda \cdot (\psi \cdot x)=(\lambda \psi )\cdot x$
4. 有关于外部操作的单位元：$\forall x\in V:1\cdot x=x$
     其中$x\in V$叫做向量，对于（V,+）
   来说，单位元是零向量，内部操作“+”叫做向量加法。$\lambda \in R$叫做标量，外部操作 $\cdot$ 叫做标量的乘法。
   下面来看几个例子：

• $V=R^n,n\in N$是一个向量空间。他的加法定义为：对于任意的$X,Y\in R^n：$$X+Y=(x_1,\cdots ,x_n)+(y_1,\cdots ,y_n)=(x_1+y_1,\cdots ,x_n+y_n)$;
  他的标量乘法定义为：对任意的$\lambda \in R,X\in R^n:\lambda X=\lambda (x_1,\cdots ,x_n)=(\lambda x_1.\cdots ,\lambda x_n)$
• $V=R^{m\times n}，m,n\in N$也是一i个向量空间。他的加法定义为：对于任意的$A,B\in V:A+B=\left[\begin{array}{ccc}{a}_{11}+b_{11}& \cdots & a_{1n}+b_{1n}\\ ⋮& & ⋮\\ a_{m1}+b_{m1}& \cdots & a_{mn}+b_{mn}\end{array}\right]$；标量乘法定义为：$\lambda A=\left[\begin{array}{ccc}\lambda a_{11}& \cdots & \lambda a_{1n}\\ ⋮& & ⋮\\ \lambda a_{m1}& \cdots & \lambda a_{mn}\end{array}\right]$；
  注意:当（V,+,·）表示标准向量乘法和标量加法时以后我们就用V表示（V,+,·）；用$x$表示向量。且不再区分$R^n和R^{n\times 1}$

1.4.3 向量子空间

  字面意思，如果存在V是一个向量空间，而$U\in V$也满足成为跟V上的操作一样向量空间的定义，（就是说V有矩阵乘而U也有这样，可以把他看成一个在V内部缩小的V）则U就是V的向量子空间。向量子空间是机器学习中的一个重要概念，之后咱们会学到。
如果U是V的向量子空间则U就能继承V的许多性质，比如阿贝尔群啊结合律，单位元等等。而为了确定U是不是V的向量子空间，我们必须要证明

1. $U\ne 0$且零元在U内部
2. 跟V一样，进行外部运算和内部运算结果都$\in$U

• 对于每个向量空间V，他的平凡子空间是V和{0}