【学习笔记（四）：《动手学深度学习 Pytorch版》线性代数】

1.标量

标量由只有一个元素的张量表示。 下面的代码将实例化两个标量，并执行一些熟悉的算术运算，即加法、乘法、除法和指数。

2.向量

人们通过一维张量表示向量。一般来说，张量可以具有任意长度，取决于机器的内存限制。

在代码中，我们通过张量的索引来访问任一元素

与普通的Python数组一样，我们可以通过调用Python的内置len()函数来访问张量的长度

当用张量表示一个向量（只有一个轴）时，我们也可以通过.shape属性访问向量的长度。 形状（shape）是一个元素组，列出了张量沿每个轴的长度（维数）。 对于只有一个轴的张量，形状只有一个元素。

3.矩阵

当调用函数来实例化张量时， 我们可以通过指定两个分量m和n来创建一个形状为m x n的矩阵。

矩阵的转置

对称矩阵

现在我们将B与它的转置进行比较

4. 张量

当我们开始处理图像时，张量将变得更加重要，图像以维数组形式出现， 其中3个轴对应于高度、宽度，以及一个通道（channel）轴， 用于表示颜色通道（红色、绿色和蓝色）。 现在先将高阶张量暂放一边，而是专注学习其基础知识。

给定具有相同形状的任意两个张量，任何按元素二元运算的结果都将是相同形状的张量。 例如，将两个相同形状的矩阵相加，会在这两个矩阵上执行元素加法。

矩阵乘法

将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。

6. 降维

计算求和的函数：

我们可以表示任意形状张量的元素和

默认情况下，调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。 我们还可以指定张量沿哪一个轴来通过求和降低维度。 以矩阵为例，为了通过求和所有行的元素来降维（轴0），可以在调用函数时指定axis=0。 由于输入矩阵沿0轴降维以生成输出向量，因此输入轴0的维数在输出形状中消失。

指定axis=1将通过汇总所有列的元素降维（轴1）。因此，输入轴1的维数在输出形状中消失。

沿着行和列对矩阵求和，等价于对矩阵的所有元素进行求和

一个与求和相关的量是平均值（mean或average）。 我们通过将总和除以元素总数来计算平均值。 在代码中，我们可以调用函数来计算任意形状张量的平均值。

同样，计算平均值的函数也可以沿指定轴降低张量的维度。

7.非降维求和

有时在调用函数来计算总和或均值时保持轴数不变会很有用。

例如，由于sum_A在对每行进行求和后仍保持两个轴，我们可以通过广播将A除以sum_A。

如果我们想沿某个轴计算A元素的累积总和， 比如axis=0（按行计算），可以调用cumsum函数。 此函数不会沿任何轴降低输入张量的维度。

8.点积（Dot Product）

9.矩阵-向量积

在代码中使用张量表示矩阵-向量积，我们使用mv函数。 当我们为矩阵A和向量x调用torch.mv(A, x)时，会执行矩阵-向量积。 注意，A的列维数（沿轴1的长度）必须与x的维数（其长度）相同。

10.矩阵-矩阵乘法

11. 范数