矩阵和标量、向量相加

矩阵和标量、向量相加

在线性代数中，只有相同维数的矩阵可以相加，相同维数的向量可以相加，而没有定义矩阵与标量、向量的加法。

在深度学习中，我们允许矩阵与标量、向量相加，产生另一个矩阵。

矩阵与标量相加

$$\mathbf{C}=\mathbf{A}+b,C_{i,j}=A_{i,j}+b$$

即，将标量加到矩阵的每个元素上。

在numpy中有如下输入输出：

# [in]
a = np.ones((3, 3))
b = 1
a + b

# [out]
array([[2., 2., 2.],
       [2., 2., 2.],
       [2., 2., 2.]])

矩阵与向量相加

$$\mathbf{C}=\mathbf{A}+\mathbf{b}$$

一般情况下，我们所称的向量为列向量，即
$$\mathbf{b}=\left[\begin{array}{c}{b}_1\\ ⋮\\ b_n\end{array}\right]$$
为了便于排版，一般将其写成$\mathbf{b}=[b_1,\dots ,b_n{]}^T$的形式。一般我们称$\mathbf{d}=[d_1,\dots ,d_n]$形式的向量为行向量。矩阵与向量相加时，需要区分是与列向量相加还是与行向量相加。

矩阵与列向量相加
$$\mathbf{C}=\mathbf{A}+\mathbf{b},C_{i,j}=A_{i,j}+b_i$$
即，将列向量加到矩阵每一列上。

在numpy中有如下输入输出：

# [in]
a = np.ones((3, 3))
b = np.array([1, 2, 3]).reshape(-1, 1)
a + b

# [out]
array([[2., 2., 2.],
       [3., 3., 3.],
       [4., 4., 4.]])

矩阵与行向量相加
$$\mathbf{C}=\mathbf{A}+\mathbf{b},C_{i,j}=A_{i,j}+b_j$$
即，将行向量加到矩阵每一行上。

在numpy中有如下输入输出：

# [in]
a = np.ones((3, 3))
b = np.array([1, 2, 3]).reshape(1, -1)
a + b

# [out]
array([[2., 3., 4.],
       [2., 3., 4.],
       [2., 3., 4.]])

这种隐式地复制标量或向量到很多位置的方式，被称为广播(broadcasting)。