一. 标量与向量
(一). 标量：
标量是一个表示大小的数字，一般用普通小写字母表示，如 a .
(二). 向量：
一个同时具有大小与方向的几何对象，如 【a, b】，一般用粗体的小写字母表示，如x。
向量又分为行向量与列向量：
行向量：
[
a
b
]
\begin{bmatrix} a & b \end{bmatrix}
[ab]
列向量：
[
a
b
]
\begin{bmatrix} a\\ b \end{bmatrix}
[ab]
(三). 向量的模：
∣ a ∣ = x 1 2 + x 2 2 + . . . + x N 2 \left | a \right | = \sqrt{x_{1}^{2} + x_{2}^{2}+...+x_{N}^{2}} ∣a∣=x12+x22+...+xN2
(四). 向量的范数：
∥
a
∥
1
=
∑
∣
x
i
∣
\left \| a \right \|_{1} = \sum \left | x_{i} \right |
∥a∥1=∑∣xi∣
∥
a
∥
2
=
x
1
2
+
x
2
2
+
.
.
.
+
x
N
2
\left \| a \right \|_{2} = \sqrt{x_{1}^{2} + x_{2}^{2}+...+x_{N}^{2}}
∥a∥2=x12+x22+...+xN2
∥
a
∥
∞
=
m
a
x
∣
x
i
∣
\left \| a \right \|_{ \infty } = max\left | x_{i} \right |
∥a∥∞=max∣xi∣
二. 向量的运算
(一). 向量的加法：
行向量与列向量同理
a
=
[
2
3
]
a = \begin{bmatrix} 2 &3 \end{bmatrix}
a=[23]
b
=
[
4
5
]
b= \begin{bmatrix} 4 &5 \end{bmatrix}
b=[45]
a
+
b
=
[
2
3
]
+
[
4
5
]
=
[
6
8
]
a + b = \begin{bmatrix} 2 &3 \end{bmatrix} + \begin{bmatrix} 4 &5 \end{bmatrix} = \begin{bmatrix} 6 &8 \end{bmatrix}
a+b=[23]+[45]=[68]
(二). 向量的数乘：
行向量于列向量同理
a
=
[
2
3
]
a =\begin{bmatrix} 2 & 3 \end{bmatrix}
a=[23]
c
=
2
c = 2
c=2
c
⋅
a
=
2
×
[
2
3
]
=
[
2
×
2
2
×
3
]
=
[
4
6
]
c \cdot a = 2\times \begin{bmatrix} 2 & 3 \end{bmatrix} = \begin{bmatrix} 2\times 2 & 2\times 3 \end{bmatrix} = \begin{bmatrix} 4 & 6 \end{bmatrix}
c⋅a=2×[23]=[2×22×3]=[46]
(三). 向量的乘积（点积）
a
=
[
a
1
a
2
.
.
.
a
n
]
a = \begin{bmatrix} a_{1}&a_{2} &...a_{n} \end{bmatrix}
a=[a1a2...an]
b
=
[
b
1
b
2
.
.
.
b
n
]
b = \begin{bmatrix} b_{1}&b_{2} &...b_{n} \end{bmatrix}
b=[b1b2...bn]
a
⋅
b
=
∑
i
=
1
n
a
i
b
i
=
a
1
b
1
+
a
2
b
2
+
.
.
.
a
n
b
n
a\cdot b = \sum_{i=1}^{n} a_{i}b_{i} = a_{1}b_{1}+a_{2}b_{2}+...a_{n}b_{n}
a⋅b=i=1∑naibi=a1b1+a2b2+...anbn
点积还可以理解为
a
⋅
b
=
∣
a
⋅
b
T
∣
a\cdot b = \left |a\cdot b^{T} \right |
a⋅b=∣
∣a⋅bT∣
∣
b
T
是行向量
b
的转置
b^{T} 是行向量b的转置
bT是行向量b的转置
∣
a
⋅
b
T
∣
是
a
⋅
b
T
的行列式
\left |a\cdot b^{T} \right |是a\cdot b^{T}的行列式
∣
∣a⋅bT∣
∣是a⋅bT的行列式
向量的点积式子要与矩阵的点积式子一起记忆，以免与矩阵的元素积弄混。
三. 矩阵的定义：
(一). 矩阵：
由 M X N 个数排列成M行，N列的表：
[
a
11
.
.
.
a
1
N
.
.
.
.
.
.
.
.
.
a
M
1
.
.
.
a
M
N
]
\begin{bmatrix} a_{11} & ... &a_{1N} \\ ...&... & ...\\ a_{M1}& ... & a_{MN} \end{bmatrix}
⎣
⎡a11...aM1.........a1N...aMN⎦
⎤
四. 矩阵的运算
(一). 矩阵的加法
矩阵的加法等于每个矩阵对应元素的相加
[
a
11
.
.
.
a
1
N
.
.
.
.
.
.
.
.
.
a
M
1
.
.
.
a
M
N
]
+
[
b
11
.
.
.
b
1
N
.
.
.
.
.
.
.
.
.
b
M
1
.
.
.
b
M
N
]
=
[
a
11
+
b
11
.
.
.
a
1
N
+
b
1
N
.
.
.
.
.
.
.
.
.
a
M
1
+
b
M
1
.
.
.
a
M
N
+
b
M
N
]
\begin{bmatrix} a_{11} & ... &a_{1N} \\ ...&... & ...\\ a_{M1}& ... & a_{MN} \end{bmatrix} + \begin{bmatrix} b_{11} & ... &b_{1N} \\ ...&... & ...\\ b_{M1}& ... & b_{MN} \end{bmatrix} = \begin{bmatrix} a_{11}+b_{11} & ... &a_{1N}+b_{1N} \\ ...&... & ...\\ a_{M1}+b_{M1}& ... & a_{MN}+b_{MN} \end{bmatrix}
⎣
⎡a11...aM1.........a1N...aMN⎦
⎤+⎣
⎡b11...bM1.........b1N...bMN⎦
⎤=⎣
⎡a11+b11...aM1+bM1.........a1N+b1N...aMN+bMN⎦
⎤
(二). 矩阵的乘法
1. 矩阵的点积
矩阵的点积是矩阵的正常乘法运算，即
A为 M行N列的矩阵
[
a
11
.
.
.
a
1
N
.
.
.
.
.
.
.
.
.
a
M
1
.
.
.
a
M
N
]
\begin{bmatrix} a_{11} & ... &a_{1N} \\ ...&... & ...\\ a_{M1}& ... & a_{MN} \end{bmatrix}
⎣
⎡a11...aM1.........a1N...aMN⎦
⎤
B为N行K列的矩阵
[
b
11
.
.
.
b
1
K
.
.
.
.
.
.
.
.
.
b
N
1
.
.
.
b
N
K
]
\begin{bmatrix} b_{11} & ... &b_{1K} \\ ...&... & ...\\ b_{N1}& ... & b_{NK} \end{bmatrix}
⎣
⎡b11...bN1.........b1K...bNK⎦
⎤
两个矩阵的点积即矩阵乘积要求矩阵A的列数必须与矩阵B的行数相等。
M X N的矩阵A与N X K 的矩阵B的点积结果为 M X K 的矩阵D：
[
a
11
.
.
.
a
1
N
.
.
.
.
.
.
.
.
.
a
M
1
.
.
.
a
M
N
]
⋅
[
b
11
.
.
.
b
1
K
.
.
.
.
.
.
.
.
.
b
N
1
.
.
.
b
N
K
]
=
[
d
11
.
.
.
d
1
K
.
.
.
.
.
.
.
.
.
d
M
1
.
.
.
d
M
K
]
=
d
i
j
\begin{bmatrix} a_{11} & ... &a_{1N} \\ ...&... & ...\\ a_{M1}& ... & a_{MN} \end{bmatrix} \cdot \begin{bmatrix} b_{11} & ... &b_{1K} \\ ...&... & ...\\ b_{N1}& ... & b_{NK} \end{bmatrix} =\begin{bmatrix} d_{11} & ... &d_{1K} \\ ...&... & ...\\ d_{M1}& ... & d_{MK} \end{bmatrix} = d_{ij}
⎣
⎡a11...aM1.........a1N...aMN⎦
⎤⋅⎣
⎡b11...bN1.........b1K...bNK⎦
⎤=⎣
⎡d11...dM1.........d1K...dMK⎦
⎤=dij
d
i
j
的表达式为
d
i
j
=
∑
k
=
1
N
a
i
k
b
k
j
d_{ij}的表达式为 d_{ij} = \sum_{k=1}^{N}a_{ik}b_{kj}
dij的表达式为dij=k=1∑Naikbkj
矩阵点积要与向量的点积一起记忆，都有行列的限制，是正常的矩阵乘积。
2. 元素积
矩阵的元素积为两个矩阵对应元素的乘积，记为
A
⊙
B
A\odot B
A⊙B
[
a
11
.
.
.
a
1
N
.
.
.
.
.
.
.
.
.
a
M
1
.
.
.
a
M
N
]
⋅
[
b
11
.
.
.
b
1
N
.
.
.
.
.
.
.
.
.
b
M
1
.
.
.
b
M
N
]
=
[
e
11
.
.
.
e
1
N
.
.
.
.
.
.
.
.
.
e
M
1
.
.
.
e
M
N
]
=
e
i
j
\begin{bmatrix} a_{11} & ... &a_{1N} \\ ...&... & ...\\ a_{M1}& ... & a_{MN} \end{bmatrix} \cdot \begin{bmatrix} b_{11} & ... &b_{1N} \\ ...&... & ...\\ b_{M1}& ... & b_{MN} \end{bmatrix} =\begin{bmatrix} e_{11} & ... &e_{1N} \\ ...&... & ...\\ e_{M1}& ... & e_{MN} \end{bmatrix} = e_{ij}
⎣
⎡a11...aM1.........a1N...aMN⎦
⎤⋅⎣
⎡b11...bM1.........b1N...bMN⎦
⎤=⎣
⎡e11...eM1.........e1N...eMN⎦
⎤=eij
e
i
j
的表达式为
e
i
j
=
a
i
j
b
i
j
e_{ij}的表达式为 e_{ij} =a_{ij}b_{ij}
eij的表达式为eij=aijbij
重点：矩阵A的行数与列数同矩阵B的行数与列数是完全一样的
这是与矩阵的点积完全不同的地方，要记牢！！！
关注公众号【计算机视觉与深度学习】，获取海量计算机视觉与深度学习资源，实战项目源码，最新论文下载，大厂面试经验！！！
扫一扫
3706
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
