深度学习-数学基础-线性代数

线性代数是机器学习与深度学习的数学基石，本章学习记录线性代数中的基础知识

1、矩阵的运算

矩阵加法和减法

• 只有维度相同的矩阵才能相加或相减。

• 对应元素之间进行加法或减法。

• 若 A 和 B 是两个 m×n的矩阵，则它们的和 C=A+B满足 Cij=Aij+Bij。

• 符合交换律

矩阵乘法

• 矩阵 A的列数必须与矩阵 B的行数相等。

• 如果 A是 m×n矩阵，B是 n×p矩阵，那么它们的积 C=AB是一个 m×p矩阵。

• 乘法规则：

  

数乘（矩阵与标量的乘法）

• 用一个标量（实数或复数）乘以矩阵中的每一个元素。

• 若 AA是一个 m×n矩阵，k是一个标量，则 B=kA满足 Bij=k⋅Aij。

单位矩阵

• 单位矩阵是一个对角线元素全为 1，其他元素全为 0 的方阵。单位矩阵通常记作 In​，其中 n 表示矩阵的阶，即矩阵的行数和列数。
• 2×2 单位矩阵：

• 单位矩阵是矩阵乘法中的中性元素。即对于任何 n×nn×n 矩阵 AA，有：

 矩阵的逆

• 定义：对于一个方阵 A，如果存在一个矩阵 B，使得： AB=BA=I其中 I是与 A维数相同的单位矩阵，那么矩阵 B就被称为 A的逆矩阵，记作

• 对于非奇异矩阵，其逆矩阵具有存在性和唯一性，非奇异矩阵的是指行列式不为0的矩阵。

•  矩阵的逆求解方式，求解因为矩阵阶数的不同而表达式不同，一般使用拉普拉斯展开或通过LU 分解来计算行列式

转置 

•  将矩阵的行和列互换，如果 A是一个 m×n矩阵，则其转置是一个 n×m 矩阵，满足：

共轭转置

•  对于一个复矩阵 AA，其共轭转置矩阵，通常记作 ：

• 计算方式：

1. 转置：将矩阵 AA 的行和列互换。
2. 复共轭：对矩阵 AA 中的每个元素取共轭复数（即实部保持不变，虚部取相反数）。

迹（Trace）

• 矩阵对角线元素的和。
• 如果 A是一个 n×n的方阵，则其迹 ：

 矩阵的秩

2、向量及其运算

基本概念

• 定义: 向量是一个有大小（长度）和方向的量，通常以有序数对、数三元组等形式表示，也可以是任意维度的实数序列。例如，在二维空间中，一个向量可以表示为 v=(v1,v2)；在三维空间中，可以表示为 v=(v1,v2,v3)。
• 分量表示: 向量常常表示为一个列向量或行向量。例如，二维向量 v表示为 v=(v1v2)或 v=(v1,v2)T。
• 几何表示: 向量可以在坐标平面或坐标空间中表示为一个箭头，从原点指向某个点。

加法和减法 

• 向量的加法和减法是分量逐个相加或相减。例如，对于两个二维向量 a=(a1，a2)和 b=(b1，b2)。

数乘 

• 向量的数乘是指用一个标量（实数或复数）乘以每个分量。例如，如果 k是一个标量，且向量 v=(v1，v2)，则：

点积（内积） 

• 两个向量的点积是一个标量，其计算方式是对应分量的乘积之和。例如，对于二维向量 u=(u1，u2) 和 v=(v1，v2)则：

 叉积（外积）

• 叉积仅对三维向量定义，是一个向量。叉积计算方式如下，对于 u=(u1，u2，u3)和 v=(v1，v2，v3)：

u×v=

向量的长度或范数 

• 向量的长度（或称为范数）是从原点到该点的距离。

单位向量 

• 单位向量是长度为1的向量。
   

3、特征向量和特征值

定义

在一个向量空间中，假设你有一个方阵 A（例如，一个 n×n的矩阵）。如果存在一个非零向量 v和一个标量（数值） λ，使得当矩阵 A 作用在向量 v 上时，结果仅仅是这个向量被一个标量 λ 的作用放大或缩小，即

Av=λv

那么，向量 v 称为矩阵 A 的特征向量，而标量 λ 称为对应的特征值。

求解

• 特征值的求解： 通过解特征方程来找到特征值。特征方程来源于以下等式：

  (A−λI)v=0

  其中 I是同维的单位矩阵。为了解此方程，非零向量 v 的存在要求矩阵 (A−λI) 是奇异的（即行列式为零）。因此，我们需要求解行列式等于零的方程：

  det⁡(A−λI)=0

  这个方程被称为矩阵 A 的特征多项式，通过求解这个多项式的根来找到特征值 λ。

• 特征向量的求解： 通过将已经求得的特征值 λ 代入方程

  (A−λI)v=0

  求解这个齐次线性方程组，可以找到相对应的特征向量 v。