线性代数是机器学习与深度学习的数学基石,本章学习记录线性代数中的基础知识
1、矩阵的运算
矩阵加法和减法
-
只有维度相同的矩阵才能相加或相减。
-
对应元素之间进行加法或减法。
-
若 A 和 B 是两个 m×n的矩阵,则它们的和 C=A+B满足 Cij=Aij+Bij。
-
符合交换律
矩阵乘法
-
矩阵 A的列数必须与矩阵 B的行数相等。
-
如果 A是 m×n矩阵,B是 n×p矩阵,那么它们的积 C=AB是一个 m×p矩阵。
-
乘法规则:
数乘(矩阵与标量的乘法)
-
用一个标量(实数或复数)乘以矩阵中的每一个元素。
-
若 AA是一个 m×n矩阵,k是一个标量,则 B=kA满足 Bij=k⋅Aij。
单位矩阵
- 单位矩阵是一个对角线元素全为 1,其他元素全为 0 的方阵。单位矩阵通常记作 In,其中 n 表示矩阵的阶,即矩阵的行数和列数。
- 2×2 单位矩阵:
- 单位矩阵是矩阵乘法中的中性元素。即对于任何 n×nn×n 矩阵 AA,有:
矩阵的逆
- 定义:对于一个方阵 A,如果存在一个矩阵 B,使得: AB=BA=I其中 I是与 A维数相同的单位矩阵,那么矩阵 B就被称为 A的逆矩阵,记作
-
对于非奇异矩阵,其逆矩阵具有存在性和唯一性,非奇异矩阵的是指行列式不为0的矩阵。
- 矩阵的逆求解方式,求解因为矩阵阶数的不同而表达式不同,一般使用拉普拉斯展开或通过LU 分解来计算行列式
转置
- 将矩阵的行和列互换,如果 A是一个 m×n矩阵,则其转置是一个 n×m 矩阵,满足:
共轭转置
- 对于一个复矩阵 AA,其共轭转置矩阵,通常记作 :
- 计算方式:
- 转置:将矩阵 AA 的行和列互换。
- 复共轭:对矩阵 AA 中的每个元素取共轭复数(即实部保持不变,虚部取相反数)。
迹(Trace)
- 矩阵对角线元素的和。
- 如果 A是一个 n×n的方阵,则其迹 :
矩阵的秩
2、向量及其运算
基本概念
- 定义: 向量是一个有大小(长度)和方向的量,通常以有序数对、数三元组等形式表示,也可以是任意维度的实数序列。例如,在二维空间中,一个向量可以表示为 v=(v1,v2);在三维空间中,可以表示为 v=(v1,v2,v3)。
- 分量表示: 向量常常表示为一个列向量或行向量。例如,二维向量 v表示为 v=(v1v2)或 v=(v1,v2)T。
- 几何表示: 向量可以在坐标平面或坐标空间中表示为一个箭头,从原点指向某个点。
加法和减法
- 向量的加法和减法是分量逐个相加或相减。例如,对于两个二维向量 a=(a1,a2)和 b=(b1,b2)。
数乘
- 向量的数乘是指用一个标量(实数或复数)乘以每个分量。例如,如果 k是一个标量,且向量 v=(v1,v2),则:
点积(内积)
- 两个向量的点积是一个标量,其计算方式是对应分量的乘积之和。例如,对于二维向量 u=(u1,u2) 和 v=(v1,v2)则:
叉积(外积)
- 叉积仅对三维向量定义,是一个向量。叉积计算方式如下,对于 u=(u1,u2,u3)和 v=(v1,v2,v3):
u×v=
向量的长度或范数
-
向量的长度(或称为范数)是从原点到该点的距离。
单位向量
- 单位向量是长度为1的向量。
3、特征向量和特征值
定义
在一个向量空间中,假设你有一个方阵 A(例如,一个 n×n的矩阵)。如果存在一个非零向量 v和一个标量(数值) λ,使得当矩阵 A 作用在向量 v 上时,结果仅仅是这个向量被一个标量 λ 的作用放大或缩小,即
Av=λv
那么,向量 v 称为矩阵 A 的特征向量,而标量 λ 称为对应的特征值。
求解
-
特征值的求解: 通过解特征方程来找到特征值。特征方程来源于以下等式:
(A−λI)v=0
其中 I是同维的单位矩阵。为了解此方程,非零向量 v 的存在要求矩阵 (A−λI) 是奇异的(即行列式为零)。因此,我们需要求解行列式等于零的方程:
det(A−λI)=0
这个方程被称为矩阵 A 的特征多项式,通过求解这个多项式的根来找到特征值 λ。
-
特征向量的求解: 通过将已经求得的特征值 λ 代入方程
(A−λI)v=0
求解这个齐次线性方程组,可以找到相对应的特征向量 v。