Numpy 与Pytorch 关于一维数组的处理（1）

引入

在人工智能的训练中，常常会遇到，element-wise的乘法(对应项相乘）和点积（点乘）运算。很多学习人工智的小伙伴多是从Numpy入手，然后转到Pytorch的。
但是有一些，小的问题处理上，还是有一些差距，会造成很多的误解。比如，对于一维向量的乘法和点积就有如下的差别：

Numpy中的一维数组的乘法与点乘

element-wise的乘法的结果，仍然是，向量。而 点积（点乘）的运算则是一个具体的值。

import numpy as np
a = np.array([1, 2, 3])
b = np.array([1, 2, 3])
print(np.dot(a, b),   np.multiply(a, b))

运算结果：

14   [1 4 9]

Pytorch中的一维数组的乘法与点乘

import torch
a = torch.tensor([1, 2, 3])
b = torch.tensor([1, 2, 3])
print(torch.mul(a, b))
print(torch.mm(a, b))

运算结果：

tensor([1, 4, 9])
Traceback (most recent call last):
    print(torch.mm(a, b))
RuntimeError: self must be a matrix

element-wise的乘法是没有问题的，但是，点积的求法，则会报错。该如何改呢？

import torch
a = torch.tensor([1, 2, 3]).unsqueeze(dim=0)
b = torch.tensor([1, 2, 3]).unsqueeze(dim=1)
print(a.shape,  b.shape)
print(torch.mm(a, b))

运算结果：

torch.Size([1, 3]) torch.Size([3, 1])
tensor([[14]])

如果，在此时，作一下，element-wise的乘法，会如何呢？
结论是会发生，广播机制。

import torch
a = torch.tensor([1, 2, 3]).unsqueeze(dim=0)
b = torch.tensor([1, 2, 3]).unsqueeze(dim=1)
print(a.shape, b.shape)
print(torch.mul(a, b))

结果：

torch.Size([1, 3]) torch.Size([3, 1])
tensor([[1, 2, 3],
        [2, 4, 6],
        [3, 6, 9]])