向量点积和矩阵乘积的区别

点积 dot product

点积是针对向量而言的。
我们可以理解为维度[n,1]或者[1,n]，一维的矩阵。
在python中，我们设置一个array，查看其shape：

>>> import numpy as np
>>> a = np.array([1,2,3,4,5])
>>> a
array([1, 2, 3, 4, 5])
>>> a.shape
(5,)

可以看到维度是(5, )，并不是(5,1)或者(1,5)。
这东西刚接触的时候很容易搞不清楚。我的理解是，python把这个认定为是向量。
而向量的5其实在空间中可以认为是5个维度的意思，每个维度上有一个值。
而两个向量的点积：

>>> b = np.array([2,2,3,3,1])
>>> b
array([2, 2, 3, 3, 1])
>>> b.shape
(5,)
>>> c = np.dot(a,b)
>>> c
32

就是每个元素相乘之后求和。

乘积 product

乘积的概念是针对矩阵来说的。
所以需要满足维度匹配才可以进行乘积，即矩阵乘法。
前面矩阵的列元素个数，需要等于后面矩阵行元素个数。
即维度 [n , m] 和 [m , k] 这两个矩阵才可以乘积。

>>> d = np.matrix([[1,2,3],[2,3,4]])
>>> d
matrix([[1, 2, 3],
        [2, 3, 4]])
>>> e = np.matrix([[1,2],[2,3],[4,5]])
>>> e
matrix([[1, 2],
        [2, 3],
        [4, 5]])
>>> f = np.dot(d,e)
>>> f
matrix([[17, 23],
        [24, 33]])

[2 , 3] 的矩阵和 [3 , 2] 的矩阵乘积得到一个 [2 , 2] 的矩阵。
另外，我们不用 matrix 而改用 array 也是可以的：

>>> d_2 = np.array([[1,2,3],[2,3,4]])
>>> d_2
array([[1, 2, 3],
       [2, 3, 4]])
>>> e_2 = np.array([[1,2],[2,3],[4,5]])
>>> e_2
array([[1, 2],
       [2, 3],
       [4, 5]])
>>> f_2 = np.dot(d_2,e_2)
>>> f_2
array([[17, 23],
       [24, 33]])

区别

如果我们把两个 array 扩展一个维度出来：

>>> a
array([1, 2, 3, 4, 5])
>>> a_reshape = a.reshape([5,1])
>>> a_reshape
array([[1],
       [2],
       [3],
       [4],
       [5]])
>>> a_reshape.shape
(5, 1)

这个时候 array 维度变了。

>>> b
array([2, 2, 3, 3, 1])
>>> b_reshape = b.reshape([5,1])
>>> b_reshape
array([[2],
       [2],
       [3],
       [3],
       [1]])
>>> b_reshape.shape
(5, 1)
>>> a_b = np.dot(a,b)
>>> a_b
32

有意思的是，这里(5,1)和(5,1)的维度可以直接做乘积。这应该是python为了便利而扩展的功能吧。
如果我们把b的维度变为 (1,5)，结果还是一样的：

>>> b_reshape_2 = b.reshape([1,5])
>>> a_b_2 = np.dot(a,b)
>>> a_b_2
32
>>> b_reshape_2.shape
(1, 5)

如果乘积中一个矩阵超过了一维，那就要做维度匹配了。