人工智能之向量与矩阵的范数

向量的内积

 

 定义

向量的内积（或点积）是一种二元运算，它将两个向量映射到一个标量上。这个运算不仅衡量了向量的相似度，而且在几何上反映了它们之间的角度关系。对于两个向量 \(\mathbf{a}\) 和 \(\mathbf{b}\) 在 \(n\)-维空间中的内积定义为：

 

\[\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = a_1b_1 + a_2b_2 + \cdots + a_nb_n\]

 

几何意义

从几何角度来看，向量 \(\mathbf{a}\) 和 \(\mathbf{b}\) 的内积可以表示为：

 

\[\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos(\theta)\]

 

其中 \(\|\mathbf{a}\|\) 和 \(\|\mathbf{b}\|\) 是向量的欧几里得范数，\(\theta\) 是两向量之间的夹角。这表明如果两个向量的方向完全相同，则它们的内积最大；如果它们正交（即夹角为90度），内积为0；如果它们方向完全相反，则内积最小。

 

应用

向量的内积在许多领域都有应用，包括计算向量投影、判断向量正交、以及在机器学习中评估模型的性能。

 

向量的范数 

 

 定义

向量的范数是一个函数，将向量映射到一个非负值，用以衡量向量的“长度”或“大小”。最常用的范数是欧几里得范数，也称为 \(L_2\) 范数：

 

\[\|\mathbf{a}\|_2 = \sqrt{\sum_{i=1}^{n} a_i^2} = \sqrt{a_1^2 + a_2^2 + \cdots + a_n^2}\]

 

其他常见范数

\(L_1\) 范数（曼哈顿距离）：\(\|\mathbf{a}\|_1 = \sum_{i=1}^{n} |a_i|\)，直观上等于向量在各维度上绝对值的总和。

\(L_\infty\) 范数（最大范数）：\(\|\mathbf{a}\|_\infty = \max_i |a_i|\)，直观上等于向量的所有分量中绝对值最大的那个。

\(L_p\) 范数：\(\|\mathbf{a}\|_p = (\sum_{i=1}^{n} |a_i|^p)^{1/p}\)，这是一种更一般化的形式，当 \(p=2\) 时退化为欧几里得范数。

 

应用

向量范数在数据分析、机器学习、物理学等许多领域有广泛应用，用于量化误差、衡量距离等。

 

小结

向量的内积与范数是线性代数中的基本概念，它们在科学和工程的各个领域都有广泛应用。内积可以帮助我们理解向量间的角度关系和相似度，而范数则提供了一种衡量向量大小的方法。理解这些概念对于深入学习线性代数及其应用至关重要。

 

矩阵的内积

 

定义

矩阵的内积概念与向量内积相似，但在实际应用中，我们通常讨论的是矩阵乘法，而不是元素对元素的内积。当我们说矩阵的“内积”时，通常指的是一个矩阵与另一个矩阵的乘积，其结果是一个新的矩阵，而不是一个标量。

 

给定两个矩阵 \(\mathbf{A}\)（大小为 \(m \times n\)）和 \(\mathbf{B}\)（大小为 \(n \times p\)），它们的乘积 \(\mathbf{C} = \mathbf{A}\mathbf{B}\) 是一个 \(m \times p\) 矩阵，其中的元素 \(c_{ij}\) 由下式给出：

 

\[c_{ij} = \sum_{k=1}^{n} a_{ik}b_{kj}\]

 

几何解释

矩阵乘法可以视为多个向量空间的映射和转换，其中一个矩阵的列（或行）可以看作是对另一个矩阵进行线性变换的系数。

 

矩阵的范数

 

矩阵范数是衡量矩阵大小或复杂度的一种方法。与向量范数类似，矩阵范数在许多应用中非常重要，例如在数值分析、解决线性方程组、以及优化问题中。

 

常见的矩阵范数

 

弗罗贝尼乌斯范数：这是最直观的一种矩阵范数，定义为矩阵所有元素的平方和的平方根。对于矩阵 \(\mathbf{A}\)，其弗罗贝尼乌斯范数表示为：

 

\[\|\mathbf{A}\|_F = \sqrt{\sum_{i=1}^{m}\sum_{j=1}^{n} a_{ij}^2}\]

 

谱范数：谱范数是由矩阵的最大奇异值定义的，适用于任何矩阵，表示为：

 

\[\|\mathbf{A}\|_2 = \sigma_{max}(\mathbf{A})\]

 

其中 \(\sigma_{max}(\mathbf{A})\) 是矩阵 \(\mathbf{A}\) 的最大奇异值。

 

1-范数与无穷范数：矩阵的 \(1\)-范数是矩阵列向量的绝对值之和的最大值，而无穷范数是矩阵行向量的绝对值之和的最大值。它们分别定义为：

\[\|\mathbf{A}\|_1 = \max_{1 \leq j \leq n} \sum_{i=1}^{m} |a_{ij}|\]

\[\|\mathbf{A}\|_{\infty} = \max_{1 \leq i \leq m} \sum_{j=1}^{n} |a_{ij}|\]

 

应用

矩阵范数在评估矩阵操作的数值稳定性、求解线性方程组的条件数以及在机器学习模型的正则化过程中都有广泛应用。

 

小结

矩阵的内积与范数是线性代数中极其重要的概念。矩阵的内积主要通过矩阵乘法来体现，它可以表示为矩阵间的线性变换。矩阵范数则提供了一种量化矩阵大小的方法，它在数值分析、优化算法和机器学习中都扮演着重要的角色。理解这些基本概念对于深入研究线性代数及其在现实世界应用中非常关键。