符号表示
集合
Q
\mathbb{Q}
Q:有理数集合—\mathbb{Q}
R
\mathbb{R}
R:实数集集合—\mathbb{R}
张量
向量:小写字母加粗,\boldsymbol{v}
–
v
\boldsymbol{v}
v
矩阵:大写字母加粗,\boldsymbol{X}
–
X
\boldsymbol{X}
X
张量:数学式大写字母,\mathcal{X}
–
X
\mathcal{X}
X
函数
函数复合:用小圆圈表示,\circ
–
f
∘
g
=
f
(
g
(
x
)
)
f \circ g =f(g(x))
f∘g=f(g(x))
1. 函数
1.1 函数运算
dom:求函数定义域
Dom运算是求函数定义域的集合。
2. 矩阵
2.1 矩阵运算
2.1.1 矩阵乘法——A@B
矩阵乘法的示意图如下,
示例
[
1
2
3
4
5
6
7
8
9
]
×
[
1
2
3
4
5
6
7
8
9
]
=
[
30
36
42
66
81
96
102
126
150
]
\begin{bmatrix} 1 & 2 & 3\\ 4 & 5 & 6\\ 7 & 8 & 9\\ \end{bmatrix} \times \begin{bmatrix} 1 & 2 & 3\\ 4 & 5 & 6\\ 7 & 8 & 9\\ \end{bmatrix} = \begin{bmatrix} 30&36&42\\ 66&81&96\\ 102&126&150 \end{bmatrix}
147258369
×
147258369
=
306610236811264296150
矩阵的乘法运算不满足交换律;
复杂度:
O
(
m
×
k
×
n
)
O(m\times k\times n)
O(m×k×n)
已知矩阵
A
m
×
k
,
B
k
×
n
\mathbf{A}_{m\times k}, \mathbf{B}_{k\times n}
Am×k,Bk×n
2.2 矩阵的范数
Frobenius范数
相当于将矩阵拉成向量之后的2范数;
∥
A
∥
F
r
o
b
=
[
∑
i
j
A
i
j
2
]
1
2
{\left \| A \right \|}_{Frob} = {\left [ \sum_{ij} A_{ij}^2 \right ]}^{\frac{1}{2}}
∥A∥Frob=[ij∑Aij2]21
Note
李沐老师:“所以就说F范数比较简单,一般会用F范数,Matrix-Norm算起来会比较麻烦一点,(所以用的少一些)”。
3 线性代数:表示多元方程组
3.1 向量和矩阵的几何解释
学习资料:
x × X x\times\boldsymbol{X} x×X:乘以矩阵
表示对向量空间进行几何变换。例如:乘上矩阵
X
\boldsymbol{X}
X
X
=
(
1
1
0
1
)
,
已知
I
=
(
1
0
0
1
)
\boldsymbol{X} =\begin{pmatrix} 1 & 1\\ 0 & 1 \end{pmatrix}, \text{已知}~\boldsymbol{I} =\begin{pmatrix} 1 & 0\\ 0 & 1 \end{pmatrix}
X=(1011),已知 I=(1001)
第二个列向量由
[
0
1
]
→
[
1
1
]
\begin{bmatrix} 0\\ 1 \end{bmatrix} \rightarrow \begin{bmatrix} 1\\ 1 \end{bmatrix}
[01]→[11]
即Y轴向量偏移到
4
5
∘
45^{\circ}
45∘位置,将空间进行了倾斜变换;
3.2 常见的具名矩阵
3.2.1 带状矩阵(banded matrix)
主对角线及其两边都是非零元素的矩阵;
关于其定义的讲解,可以参考《百度知道:线性代数中带状矩阵是什么?(band matrix)》
3.3 特征值和特征向量
我们先来看看特征值和特征向量的几何意义:
如果存在某个或某些向量在
X
\boldsymbol{X}
X作用之后,它只是伸长或者缩短,其位置仍停留在其原来张成的直线上,那么称之为
X
\boldsymbol{X}
X的特征向量,伸长或者缩短的倍数称为对应特征向量的特征值。
这里结合特征向量的定义会更好理解,
数学定义:设
A
\boldsymbol{A}
A是
n
n
n阶方阵,若存在数
λ
\lambda
λ和非零列向量
x
\boldsymbol{x}
x,使得
A
x
=
λ
x
\boldsymbol{Ax}=\lambda\boldsymbol{x}
Ax=λx
则称数
λ
\lambda
λ为方阵
A
\boldsymbol{A}
A的特征值,非零列向量
x
\boldsymbol{x}
x为方阵
A
\boldsymbol{A}
A的对应于特征值
λ
\lambda
λ的特征向量。
从几何意义上讲,特征向量描述了矩阵对应的线性变换的主要变换方向 。线性变换对向量的作用是伸缩(新的长度)和旋转(新的方向),旋转会消减拉伸的作用,特征向量只有伸缩没有旋转,它就代表了这个线性变换的主要方向;
那么特征值就是描述该方向上的变换速度(倍数),所以把特征值排序,从大到小的特征值及其特征向量能近似地描述原矩阵的主变换方向和变换速度。