【深度学习-花书】第二章 线性代数

2.1 标量、向量、矩阵和张量

• 标量（scalar）

一个标量就是一个单独的数，就把他理解为一个普通的数。例如：2，3，5，这些都是标量，还有n  N，这些也是标量，表示定义了一个自然数标量。

• 向量（vector）

向量是一个和标量相对的概念，一个向量是一组数，并且这组数是有序的。因此我们可以通过确定的索引确定每个单数的数。当我们定义一个向量x，这个向量包含n个元素，并且每个元素如果都属于实数集R，那么这个向量一定属于实数集R自身做n次笛卡尔积所构成的集合，记作R^n，我们会将这些元素依次排成一个方括号包围的纵列：

                                                                                             

笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尔积（Cartesian product），又称直积，表示为X × Y，第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一个成员 [1]  。

表达式：A×B = {(x,y)|x∈A∧y∈B}

就是说两个集合做笛卡尔积后形成一个集合，这个集合中每个元素分别是由这两个集合里面所有元素两两结合形成的有序数对。

我们还可以看作向量是空间上的点，每个元素代表每个不同的坐标轴上的坐标值。

• 矩阵（matrix）

矩阵就是一个二维数组，每个元素由行索引和列索引这两个索引确定，通俗的说就是某个元素在第几行第几列。

                                                              

• 张量（tensor）

张量又与矩阵对应，矩阵是一个二维数组，而张量可以看作是一个多维的矩阵。n维的张量中，每个元素由n个索引确定。

• 转置（transpose）

转置就是将矩阵沿着主对角线镜像操作（主对角线是左上到右下），或者通俗来讲就是把横纵坐标交换，就是行变列，列变行。

                              

标量可以看作是一个元素的矩阵，因此标量的转置等于他本身。

两个形状相同的矩阵（两个矩阵行列数相等）相加，就是对应位置的元素相加，结果还是一个矩阵。

标量和矩阵相加或者相乘，就是将标量和矩阵的每个元素相加或者相乘，结果还是一个矩阵。

向量相当于是一个只有一列的矩阵，我们通常讲向量表示为他的转置向量的转置，这样的写法比较节省空间不用占用很多行。

向量也可以和矩阵相加，就是用一个向量与矩阵的每一行相加。将向量b隐式的复制到每一个位置的方式我们称为：广播（broadcasting）。

---

2.2 矩阵和向量相乘

• 矩阵乘法

矩阵乘法式矩阵运算中最重要的操作之一。与矩阵加法完全不同，矩阵加法是形状相同的两个矩阵对应位置的元素相加。而矩阵乘法要满足的条件是左矩阵的列数必须和右矩阵的行数相等，乘法得到的结果依然是一个矩阵。然后使用“左行乘右列”的规律，左边矩阵的每一行和右边矩阵的每一列的对应元素相乘再相加，得到结果矩阵的一个元素，这个元素的索引为相乘的行和列的索引。矩阵的乘法规则决定了两个矩阵相乘不满足交换律。

另外，两个矩阵的对应元素的乘积叫做元素对应成绩，或者Hadamard乘积，与矩阵乘法不同。

两个维数相同向量x， y的点积，相当于x转置与y的矩阵乘积，相当于是对应元素相乘再相加，结果是一个标量，或者说结果是一个只一个元素的矩阵。

矩阵成绩满足结合律和分配律，但是不满足交换律。

A(B+C) = AB+AC

A(BC) = (AB)C

需要注意的是：第一个式子中A右乘(B+C)，分配率之后仍然是右乘。

向量点积满足交换律：ab = ba，或者说a转置乘b等于b转置乘a。

矩阵乘积的转置：AB乘积的转置等于B转置乘A转置，这样也可以解释为什么向量点积满足交换律。

• 线性方程组

Ax = b

A是一个已知矩阵，b是一个已知向量，x是待求的向量。

根据矩阵乘法可以写出A每一行的每一个元素与x对应相乘相加等于b对应位置元素的方程组，但矩阵相乘的形式更加紧凑。

---

 

2.3 单位矩阵和逆矩阵

• 单位矩阵

单位矩阵就是主对角线全为1，其他位置全为0。

单位矩阵为方阵，行数和列数相等。

• 逆矩阵

一个矩阵和他的逆矩阵相乘得到单位矩阵。

---

2.4 线性相关和生成子空间

• 线性组合：一组向量乘以对应的标量系数并相加求和之后得到新的向量，这种操作叫做线性组合。
• 生成子空间：一组向量线性组合后所能到达的点的集合。

确定Ax = b的解，相当于把b向量看作一个点，计算点b是否在A的列向量的生成子空间里面，这个生成子空间称为A的列空间或者A的值域。