深度学习(Deep Learning)学习笔记(一)
一、线性代数
1.1 标量、向量、张量
标量(scalar):单独的数;斜体小写表示;
向量(vector):有排列顺序的一列数;粗体小写表示;索引时用
x
1
x_1
x1表示向量
x
x
x中第一个数;
x
−
1
x_-1
x−1表示除去第一个数的向量
x
x
x中所有数
矩阵(matrix):二维数组;粗体大写表示;索引时用
A
1
,
1
A_{1,1}
A1,1表示矩阵
A
A
A中第一行第一列的数
张量(tensor):若干维数组;索引时用
A
i
,
j
,
k
A_{i,j,k}
Ai,j,k
转置(transpose):行变成列,列变成行
1.2 矩阵和向量相乘
矩阵乘积(matrix product):
C
=
A
B
C=AB
C=AB;
A
A
A的列数必须与
B
B
B的行数相等
元素对应乘积(element-wise product)/Hadamard乘积(Hadamard product):两个矩阵中对应元素的乘积;记做
A
⨀
B
A \bigodot B
A⨀B
点积(dot product):向量
x
x
x和
y
y
y的点积可以看做是矩阵乘积
x
T
y
x^Ty
xTy
1.3 单位矩阵和逆矩阵
单位矩阵(identity matrix):记做
I
n
I_n
In;任意向量和单位矩阵相乘都不变
逆矩阵(matrix inverse):记做
A
−
1
A^{-1}
A−1;
A
−
1
A
=
I
n
A^{-1}A=I_n
A−1A=In