pytorch常用函数——线性代数

pytorch常用函数——线性代数

一、矩阵

正如向量将标量从零阶推广到一阶，矩阵将向量从一阶推广到二阶。 矩阵，我们通常用粗体、大写字母来表示 （例如，$X、Y和Z$）， 在代码中表示为具有两个轴的张量。
当调用函数来实例化张量时， 我们可以通过指定两个分量m和n来创建一个形状为$m\times n$的矩阵。

A = torch.arange(20).reshape(5, 4)

tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11],
        [12, 13, 14, 15],
        [16, 17, 18, 19]])

当我们交换矩阵的行和列时，结果称为矩阵的转置（transpose）

A.T

tensor([[ 0,  4,  8, 12, 16],
        [ 1,  5,  9, 13, 17],
        [ 2,  6, 10, 14, 18],
        [ 3,  7, 11, 15, 19]])

二、降维

我们可以对任意张量进行的一个有用的操作是计算其元素的和。在代码中，我们可以调用计算求和的函数：

x = torch.arange(4, dtype=torch.float32)
x, x.sum()

(tensor([0., 1., 2., 3.]), tensor(6.))

默认情况下，调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。 我们还可以指定张量沿哪一个轴来通过求和降低维度。 以矩阵为例，为了通过求和所有行的元素来降维（轴0），我们可以在调用函数时指定axis=0。

A = torch.arange(12).reshape(3, 4)
print(A)
print(A.sum(axis=0))

tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]])
tensor([12, 15, 18, 21])

非降维求和

有时在调用函数来计算总和或均值时保持轴数不变会很有用。

sum_A = A.sum(axis=1, keepdims=True)

tensor([[ 6],
        [22],
        [38]])

例如，由于sum_A在对每行进行求和后仍保持两个轴，我们可以通过广播将A除以sum_A。

A / sum_A

tensor([[0.0000, 0.1667, 0.3333, 0.5000],
        [0.1818, 0.2273, 0.2727, 0.3182],
        [0.2105, 0.2368, 0.2632, 0.2895]])

如果我们想沿某个轴计算A元素的累积总和， 比如axis=0（按行计算），我们可以调用cumsum函数。 此函数不会沿任何轴降低输入张量的维度。

A.cumsum(axis=0)

tensor([[ 0,  1,  2,  3],
        [ 4,  6,  8, 10],
        [12, 15, 18, 21]])

三、点积

给定两个向量$x,y\in R^d$，它们的点积（dot product）是相同位置的按元素乘积的和：$x^{T}y={\sum }_{i=1}^d{x}_i{y}_i$

x = torch.arange(4, dtype=torch.float32)
y = torch.ones(4, dtype=torch.float32)
print(x, y, torch.dot(x, y))

tensor([0., 1., 2., 3.]) tensor([1., 1., 1., 1.]) tensor(6.)

点积在很多场合都很有用。 例如，给定一组由向量$x\in R^d$表示的值， 和一组由$w\in R^d$表示的权重。 $x$中的值根据权重$w$的加权和， 可以表示为点积$x^{T}w$。 当权重为非负数且和为1（即${\sum }_{i=1}^d{w}_i=1$）时， 点积表示加权平均（weighted average）。 将两个向量规范化得到单位长度后，点积表示它们夹角的余弦。

四、矩阵乘法

这里的A是一个5行4列的矩阵，B是一个4行3列的矩阵。 两者相乘后，我们得到了一个5行3列的矩阵。

torch.mm(A, B)

A = torch.arange(20).reshape(5, 4)
B = torch.ones(4, 3)
torch.mm(A, B)

五、范数

线性代数中最有用的一些运算符是范数（norm）。 非正式地说，一个向量的范数告诉我们一个向量有多大。 这里考虑的大小（size）概念不涉及维度，而是分量的大小。
在线性代数中，向量范数是将向量映射到标量的函数$f$。

L2范数

欧几里得距离是一个$L_2$范数： 假设维向量$x$中的元素是$x_1,x_2,...,x_n$，其$L_2$范数是向量元素平方和的平方根：
$$||x|{|}_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$
在代码中，我们可以按如下方式计算向量的$L_2$范数。

u = torch.tensor([3.0, -4.0])
torch.norm(u)

L1范数

与$L_2$范数相比，$L_1$范数受异常值的影响较小。$L_1$范数，它表示为向量元素的绝对值之和：
$$||x|{|}_1=\sum {}_{i=1}^n|x_i|$$

torch.abs(u).sum()

tensor(7.)