人工智能矩阵基础知识点(2)

 

向量的内积(Dot Product)

 

向量的内积,也称为点乘,是两个向量的一种运算,其结果是一个标量。对于两个向量 \(\mathbf{u} = (u_1, u_2, ..., u_n)\) 和 \(\mathbf{v} = (v_1, v_2, ..., v_n)\),它们的内积定义为:

 

$$\mathbf{u} \cdot \mathbf{v} = u_1v_1 + u_2v_2 + ... + u_nv_n = \sum_{i=1}^{n} u_iv_i$$

 

内积的性质包括:

 

余弦定理:两个非零向量的内积等于它们的模乘以它们夹角的余弦值,即 \(\mathbf{u} \cdot \mathbf{v} = \|\mathbf{u}\|\|\mathbf{v}\|\cos(\theta)\),这表明内积反映了两个向量的方向关系。

正交性:如果两个向量的内积为0,那么它们是正交的(在二维和三维空间中意味着垂直)。

 

 

 

 

向量的外积(Cross Product)

 

向量的外积,也称为叉乘,是定义在三维向量上的一种运算,其结果是一个向量,而不是内积的标量。对于两个三维向量 \(\mathbf{u} = (u_1, u_2, u_3)\) 和 \(\mathbf{v} = (v_1, v_2, v_3)\),它们的外积 \(\mathbf{u} \times \mathbf{v}\) 是一个向量,定义为:

 

$$\mathbf{u} \times \mathbf{v} = (u_2v_3 - u_3v_2, u_3v_1 - u_1v_3, u_1v_2 - u_2v_1)$$

 

外积的性质包括:

 

方向:结果向量垂直于原来的两个向量构成的平面。具体的方向遵循右手定则:当你的右手的四指从 \(\mathbf{u}\) 通过最短角度旋转到 \(\mathbf{v}\) 时,你的拇指指向的方向就是外积的方向。

大小:外积的模长 \(\|\mathbf{u} \times \mathbf{v}\|\) 等于原来两个向量构成的平行四边形的面积,也可以表达为 \(\|\mathbf{u} \times \mathbf{v}\| = \|\mathbf{u}\|\|\mathbf{v}\|\sin(\theta)\),其中 \(\theta\) 是两向量之间的夹角。

应用:外积在物理学中经常用于计算力矩和角动量,在计算几何中用于判断向量间的相对方向,以及在计算机图形学中用于计算表面法线。

 

内积和外积提供了分析向量间相互关系的强大工具,能够帮助我们从不同角度理解和解决空间几何问题。

 

 分块矩阵的行列式(Determinant of Block Matrices)

 

在计算大型矩阵的行列式时,如果这个矩阵可以分为更小的“块”或子矩阵,那么在某些特定条件下,大矩阵的行列式可以通过这些子矩阵的行列式来简化计算。具体来说:

 

- 如果矩阵 \(A\) 可以分为四个块,其中两个块是对角块,而另外两个块是零矩阵(例如,一个块在左上角,另一个块在右下角),那么 \(A\) 的行列式等于两个对角块的行列式的乘积。

 

$$\text{如果 } A = \begin{pmatrix} B & 0 \\ 0 & C \end{pmatrix} \text{,那么 } \det(A) = \det(B) \cdot \det(C)$$

 
 

行列式的性质

 

行列式是一个数学函数,它将一个方阵映射到一个标量。对于任意的方阵 \(A\),其行列式记为 \(det(A)\) 或 \(|A|\)。行列式有几个重要性质,但我们特别关注以下两点:
 
1. 相似变换下的不变性:如果两个矩阵 \(A\) 和 \(B\) 相似,即存在一个可逆矩阵 \(P\) 使得 \(A = PBP^{-1}\),则 \(A\) 和 \(B\) 的行列式相等:
   \[det(A) = det(B)\]
   这个性质说明了行列式在某种变换下保持不变,这在研究矩阵的本质特性时非常有用。
 
2. 对角矩阵的行列式:对于一个对角矩阵 \(D\),其行列式等于对角线上所有元素的乘积:
   \[det(D) = d_{11} \cdot d_{22} \cdot ... \cdot d_{nn}\]
   其中,\(d_{ii}\) 是矩阵 \(D\) 对角线上的第 \(i\) 个元素。
 
 
 

相似矩阵和对角化

 
相似矩阵的概念是矩阵理论中的一个核心,特别是当涉及到对角化时。对角化是指找到一个可逆矩阵 \(P\) 和一个对角矩阵 \(D\),使得原矩阵 \(A\) 可以表示为 \(PDP^{-1}\) 的形式。
 
 对角化的步骤:
 
1. 找到矩阵 \(A\) 的特征值:解方程 \(det(A - \lambda I) = 0\),其中 \(I\) 是单位矩阵,\(\lambda\) 是特征值。
 
2. 对每个特征值,找到对应的特征向量:解方程 \((A - \lambda I) \vec{x} = \vec{0}\),其中 \(\vec{x}\) 是特征向量。
 
3. 构造矩阵 \(P\):将所有的特征向量作为列向量放入矩阵 \(P\) 中。
 
4. 构造对角矩阵 \(D\):将所有的特征值按顺序放入 \(D\) 的对角线上。
 
 数学表达式:
 
如果一个矩阵 \(A\) 能够被对角化,那么存在一个可逆矩阵 \(P\) 和一个对角矩阵 \(D\) 使得:
 
\[A = PDP^{-1}\]
 
其中,\(D\) 的对角线元素是 \(A\) 的特征值,\(P\) 的列是对应的特征向量。
 
对角化的应用:
 
对角化极大地简化了矩阵运算,特别是涉及到矩阵的幂和指数函数等。因为对角矩阵的幂和指数函数很容易计算:
 
对于幂运算:如果 \(A = PDP^{-1}\),则 \(A^n = PD^nP^{-1}\)。
对于指数函数:\(e^A = Pe^DP^{-1}\),其中 \(e^D\) 是一个对角矩阵,其对角线上的元素是 \(e^{\lambda_i}\),\(\lambda_i\) 是 \(D\) 的对角元素。
 
 

 

秩1 校正(Rank-1 Update)

 

给定一个非奇异矩阵 \(A \in \mathbb{R}^{n \times n}\),和两个任意的向量 \(u, v \in \mathbb{R}^{n \times 1}\),秩一校正是指通过向 \(A\) 添加一个秩为1的矩阵 \(uv^T\) 来更新 \(A\),更新后的矩阵表示为 \(A + uv^T\)。这里,\(uv^T\) 是一个 \(n \times n\) 矩阵,它是向量 \(u\) 和 \(v\) 的外积,由于它是通过两个向量的外积形成的,所以它的秩为1。

秩1 校正涉及到将一个秩1的矩阵加到另一个矩阵上。一个秩1的矩阵可以通过两个向量的外积来表示,形如 \(uv^T\),其中 \(u\) 和 \(v\) 是列向量。秩1更新在更新矩阵的行列式和逆矩阵时有一些非常有趣的性质,广泛应用于统计学、优化和数值分析中。

对于一个给定的方阵 \( A \),一个秩1 校正就是添加一个形式为 \( uv^T \) 的矩阵,其中 \( u \) 和 \( v \) 是列向量。这样的更新通常会影响 \( A \) 的行列式或其他性质。如果 \( A \) 是单位矩阵 \( I \),那么行列式的更新公式为:

\[\text{det}(I + uv^T) = \text{det}(I) + \text{det}(uv^T)\]

由于 \( uv^T \) 是秩1矩阵,其行列式为0,所以这个公式可以简化为:

\[\text{det}(I + uv^T) = 1 + u^T v\]

一个有趣的性质是,如果 \(A\) 是一个可逆矩阵,那么添加一个秩1 校正后的矩阵 \(A + uv^T\) 的行列式可以通过下面的公式计算:

 

$$\det(A + uv^T) = \det(A) \cdot (1 + v^T A^{-1} u)$$

秩一校正(Rank-1 update)是线性代数中的一个概念,它描述了如何通过一个简单的变换更新一个矩阵,使得更新后的矩阵与原矩阵在某种程度上相似,但又有细微的差别。这种更新特别用于优化和数值计算中,因为它可以有效地更新矩阵的逆或者其他相关属性而不需要从头开始重新计算。

 

 如何理解 \(uv^T\) 的秩为1

 

矩阵的秩是指矩阵的列向量(或行向量)中线性独立的最大数目。对于 \(uv^T\),无论 \(n\) 的大小如何,所有的列都是向量 \(u\) 的标量倍数,同样,所有的行都是向量 \(v^T\) 的标量倍数。这意味着 \(uv^T\) 的所有列(或行)向量都在同一个一维空间内,因此其秩为1。

 

例子

 

假设我们有一个矩阵 \(A\) 和向量 \(u\)、\(v\) 如下:

 

\[ A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}, \quad u = \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \quad v = \begin{pmatrix} 0 \\ 1 \end{pmatrix} \]

 

计算 \(uv^T\) 得:

 

\[ uv^T = \begin{pmatrix} 1 \\ 0 \end{pmatrix}\begin{pmatrix} 0 & 1 \end{pmatrix} = \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix} \]

 

\(uv^T\) 是一个秩为1的矩阵。将 \(uv^T\) 加到 \(A\) 上,进行秩一校正:

 

\[ A + uv^T = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix} + \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix} = \begin{pmatrix} 1 & 3 \\ 3 & 4 \end{pmatrix} \]

 

这个过程就是一个简单的秩一校正例子。通过添加一个秩为1的矩阵,我们能够微调原始矩阵 \(A\)。

 

 

 

 

 

 

 

 

  • 20
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值