深度学习笔记

深度学习笔记

一、数学基础

1、线性代数

1.1 标量、向量、张量、矩阵

• 标量 (scalar)：一个标量就是一个单独的数。比如，在定义实数标量时，通常说 ‘‘让 s ∈ R 表示一条线的斜率’’；在定义自然数标量时，通常说‘‘让 n ∈ N 表示元素的数目’’。
• 向量 (vector)：一个向量是一列数。这些数是有序排列的。通过次序中的索引，可以确定每个单独的数。
• 张量 (tensor)：在某些情况下，会讨论不只两维坐标的数组。一般地，一组数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。使用这种字体 A 来表示张量 “A’’。张量 A 中坐标为 (i, j, k) 的元素记作 A_i,j,k。
• 矩阵 (matrix)：矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。通常会赋予矩阵粗体的大写变量名称，比如 A。如果一个实数矩阵高度为 m，宽度为 n，通常说 A ∈ R^m×n。用符号"_:"表示一行或一列， A_i,: 表示 A 中垂直坐标 i 上的一横排元素。这也被称为 A 的第 i行 (row)。同样地，A_:,i 表示 A 的第 i列 (column)。当需要明确表示矩阵中的元素时，将它们写在用方括号包围起来的数组中：

# 第一个索引代表行数，第二个索引代表列数
[A1,1 A1,2 
 A2,1 A2,2]

• 转置 (transpose) ：矩阵的重要操作之一。矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为主对角线 (main diagonal)。矩阵 A 的转置表示为 A^⊤，定义如下：
  

1、向量可以看作是只有一列的矩阵。对应地，向量的转置可以看作是只有一行的 矩阵。有时，我们将向量表示成行矩阵的转置，写在行中，然后使用转置将其变为 标准的列向量，比如 x = [x1, x2, x3]^T
2、标量可以看作是只有一个元素的矩阵。因此，标量的转置等于它本身，a = a⊤。只要矩阵的形状一样，我们可以把两个矩阵相加。两个矩阵相加是指对应位置的元素相加，比如 C = A + B，其中 Ci,j = Ai,j + Bi,j。
3、标量和矩阵相乘，或是和矩阵相加时，我们将其与矩阵的每个元素相乘或相加，比如 D = a · B + c，其中 Di,j = a · Bi,j + c。
4、深度学习中，也使用一些不那么常规的符号。允许矩阵和向量相加，产生另一个矩阵：C = A + b，其中 Ci,j = Ai,j + bj。换言之，向量 b 和矩阵 A 的每一行相加。这个速记方法使我们无需在加法操作前定义复制向量 b 到矩阵的每一行。这种隐式地复制向量 b 到很多位置的方式，被称为广播 (broadcasting)。

 

1.2 矩阵和向量相乘

矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵 A 和 B 的矩阵乘积 (matrix product) 是第三个矩阵 C。为了使乘法定义良好，矩阵 A 的列数必须和矩阵 B 的行数相等。如果矩阵 A 的形状是 m × n，矩阵 B 的形状是 n × p，那么矩阵 C 的形
状是 m × p。矩阵乘积可以作用于两个或多个并在一起的矩阵，公式：C = AB

需要注意的是，两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。但这样的矩阵操作确实是存在的，称为元素对应乘积 (element-wise product) 表示为 A ⊙ B

两个相同维数的向量 x 和 y 的点积 (dot product) 可看作是矩阵乘积 x^⊤y。我们可以把矩阵乘积 C = AB 中计算 C_i,j 的步骤看作是 A 的第 i 行和 B 的第 j 列之间的点积。

矩阵满足分配律和结合律，不满足交换律，以下罗列常见公式：

• 分配律 A(B + C) = AB + AC
• 结合律 A(BC) = (AB)C
• 注意不满足交换律 AB = BA (极少数可能满足在此忽略)
• 两个向量的点积满足交换律 x^⊤y = y^⊤x
• 矩阵乘积的转置有以下形式 (AB)^⊤ = B^⊤A^⊤

综上得出一个公式 Ax = b
其中 A ∈ R^m×n 是一个已知矩阵，b 是一个已知向量，x 是一个要求解的未知向量。向量 x 的每一个元素 x_i 都是未知的。矩阵 A 的每一行和 b 中对应的元素构成一个约束。该公式可重写为
A_1,:x = b₁
A_2,:x = b₂
· · ·
A_m,:x = bm
或者，更明确地，写作
A_1,1x₁ + A_1,2x₂ + · · · A_1,nx_n = b₁
· · ·
 

1.3 单位矩阵和逆矩阵

为了描述矩阵逆，首先定义 单位矩阵（identity matrix）的概念。任意向量和单位矩阵相乘，都不会改变。保持 n 维向量不变的单位矩阵记作 I_n。形式上，I_n ∈ R^n×n，

• ∀_x ∈ Rⁿ, I_nx = x

单位矩阵的结构很简单：所有沿主对角线的元素都是 1，而所有其他位置的元素都是0。如下表示为I₃

[ 1 0 0 ]
[ 0 1 0 ]
[ 0 0 1 ]