机器学习数学基础：线代（3）

最新推荐文章于 2021-05-21 07:55:09 发布

AI路漫漫

最新推荐文章于 2021-05-21 07:55:09 发布

阅读量548

点赞数

分类专栏：机器学习数学基础文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_46192930/article/details/107665648

版权

机器学习数学基础专栏收录该内容

4 篇文章 1 订阅

订阅专栏

2.3.4 求解线性方程组的算法

下面简单的介绍一些Ax=b 的解的求解方法。现在我们假设是有解的，如果没有解就要求助于近似解，这需要线性回归的方法以后再说。

再特别的例子中，我们可以定义可逆矩阵A，Ax=b 的解就是 x=A^-1 b 。其中A要是方阵并可逆。虽然这种例子很特别，但是再这种假设下（A需要有线性独立列）可以完成以下转换。
在这里插入图片描述
啥伪逆确定Ax-=b 的解，这也是最小限度的最小二乘解。但是这种方法需要很多计算来矩阵相乘和计算逆矩阵，并且由于精度问题也不推荐这个，下面简单介绍另一种放法来求线性方程组的解。

高斯消除再计算中起到了关键作用，可以检测向量集是否是线性独立，就算矩阵的逆，计算矩阵的秩，并确定基础向量空间。高斯消除是一种直观并创造性的方式来解决数千变量的方程组。但是对于百万级别的，那就不实际了，it is impractical as the required number of arithmetic operations scales cubically in the number of simultaneous equations.。。我真是看不明白这句话。。

实际上许多线性方程组都是通过固定迭代的方式来直接解决。例如 Richardson method, the Jacobi method, the Gauß-Seidel method, successive over-relaxation method, or Krylov subspace methods,例如共轭梯度，一般最小化残差或双共轭梯度。。。我一个都不知道欸。。。

让 x* 为Ax=b 的解，这些迭代方法的关键思想就是构建迭代形式在这里插入图片描述
为了合适的C 和 d 可以减少每次迭代并收敛于x* 的残差，我们介绍允许比较两个向量相似性的标准这就是后话了。。。

所以唠叨了一大堆啥也没学到。。。

2.4 向量空间

研究向量空间，就是向量存在的结构空间。还会正式化向量的概念。。介绍组的概念，就是元素的几何并定义在这些元素上的操作，来保持集合内部的一些结构的完整，

2.4.1 组

组再计算机科学中有很重要的作用。除了提供集合操作的基本框架，再密码学，编程理论，绘图中也很重要。

在这里插入图片描述
以下人话版来自脑补连接

群是一个集合G，连同一个运算"·"，它结合任何两个元素a和b而形成另一个元素，记为a·b。符号"·"是对具体给出的运算，比如整数加法的一般占位符。要具备成为群的资格，这个集合和运算(G,·)必须满足叫做群公理的四个要求：

公理1. 封闭性：对于所有G中的元素a, b，运算a·b的结果也在G中。

公理2. 结合性：对于所有G中的a, b和c，等式 (a·b)·c = a· (b·c)成立。

公理3. 恒等元：存在G中的一个元素e，使得对于所有G中的元素a，等式e·a = a·e = a成立。

公理4. 逆元：对于每个G中的a，存在G中的一个元素b使得a·b = b·a = e，这里的e是恒等元。

实际上，在群G中，这四条公理必须成立。

进行群运算的次序是极重要的。换句话说，把元素a与元素b结合，所得到的结果不一定与把元素b与元素a结合相同；亦即，下列等式不一定恒成立：

a ⋅ b = b ⋅ a

这个等式在整数对于加法下的群中总是成立的，因为对于任何两个整数都有a + b = b + a（加法的交换律）。但是在对称群的例子中不总是成立。使等式a·b = b·a总是成立的群叫做阿贝尔群（以尼尔斯·阿贝尔命名）。因此，整数加法群是阿贝尔群，而对称群不是。

在这里插入图片描述 G就是阿贝尔群。。。

举一些栗子：

（Z,+)是阿贝尔组
（N0,+) 不是组，没有逆元
（Z, *) 不是组，不是所有元素都有逆元
(R{0}, ·) 是阿贝尔组
(R^n×n, ·) 封闭性和关联性参考矩阵乘法，中立元就是单位矩阵In ,逆元：如果A的逆存在那么组就存在，这个叫一般线性群（GL(n, R)）。由于矩阵乘法不可交换，所以不是阿贝尔组。

2.4.2 向量空间

上面我们看到的集合内部的运算，现在同时考虑内部加法和外部乘法（与标量相乘）。可以认为内部是加法的形式，外部是缩放的形式。

实数向量空间V = (v +, ·) 是有两种操纵的集合（额第一个应该是加法吧）在这里插入图片描述
这里：

（v,+) 是阿贝尔组
分配性，结合性
外部操作的恒等元 ∀x ∈ V : 1·x = x

x ∈ V 元素x就叫向量。(v, +) 的恒等元是零向量 0=[0,0,0,0…0] T . 内部操作叫向量加法，元素λ∈R称为标量，外部运算是标量的乘积。

备注：向量乘法。向量乘法常用于很多程序语言，但是被矩阵乘法的规则限制了：我们通常认为向量是 nX1 的矩阵。所以我们定义的矩阵乘法是ab^T ∈ R^n×n( 外乘积） a^T b∈ R( 内/标量/点乘积）

一些向量空间的重要栗子：

在这里插入图片描述

以后就使用V 来代表（v ,+ , ·), x ∈ V 简化代表向量v 。

备注：向量空间 Rn, Rn×1, R1×n仅在向量的写法上不同，对于前两个我们使用列向量在这里插入图片描述，后一个就是x 的转置了。

2.4.3 向量子空间

就是向量空间的子空间，有着与向量空间一样的特性。向量子空间是机器学习的核心，以后我们会看见使用向量子空间来进行降维。

u ⊆ V, u 不属于 ∅. Then U = (u , +, ·) 这就是向量子空间（线性子空间）。其中的加法和乘法操作限制到了 U + U R X U。
记 U ⊆ V 为子空间。当然子空间继承了父空间的特性，包括阿贝尔组的特性（结合，分配，恒等元）。为了确定是否是子空间还需要确定：
在这里插入图片描述